답변
일반적으로 POST 요청을하지 않습니다. 이것은 단지 현재의 상태이고 어디에서나 지시되지는 않는다고 나는 믿는다. 일부 검색 엔진은 experimenting with crawling forms이지만 여전히 GET 요청입니다.
2 년 후 [Google changed that.] (http://googlewebmastercentral.blogspot.de/2011/11/get-post-and-safely-surfacing-more-of.html) 사실 Google에 내 게시물이 있습니다. 비밀 번호는 잊어 버렸고 로그인 양식은 지금 당장 나에게는 의미가 없으며 무서운 것처럼 보입니다. – korkman
크롤러가 양식 태그의 URL을 구문 분석하고 추적하는지 묻는 중입니까? 어떤 의지. 그래도 GET 동사를 항상 사용한다는 것은 매우 안전한 가정입니다.
스팸봇은 다른 이야기입니다.
내 주된 질문은 그들이 POST 동사를 사용하는지에 관한 질문이었습니다. –
선의의 의도가있는 사람은 없습니다. 그러나 이것은 단지 요청 헤더 일 뿐이며 많은 사람들이 나쁜 의도를 가지고 있습니다. 악을위한 디자인. – marr75
폴 라이트 크롤러는 GET 요청 만 사용합니다. 정중 한 크롤러가 bots.txt를 따르는 것과 같습니다.
그러나 Google도 정중 한 정의와 함께 빠르게 느슨하게 놀고 있으며, 크롤러는 stackoverflow를 포함한 일부 사이트에 심각한 대역폭 손상을 입혔습니다.
나는 그들이 robots.txt에 복종한다고 생각한다. –
정말 크롤러 유형에 따라 다릅니다. – Alex