Google Apps Script Bot마다 반복적으로 웹 사이트를 크롤링합니다.

Question

불과 1 시간 전, 나는 tailing 아파치 로그 파일 (액세스 로그)을 시작했으며 그 이후로 나는이 이상한 사용자 에이전트를 발견했습니다. (Google의 공식 문서는 찾을 수 없습니다.)

나는이 사용자 에이전트에 대한 구글의 사이트에서 아무것도 찾을 수 couldnt는 이후 나는 그것에 대해 의심스러운 느낌이 있어요,

("Mozilla/5.0 (compatible; GoogleApps script; +http://script.google.com/bot.html)) 

그것은 우리의 사이트, 매 순간, 하루 종일의 로그인 페이지를 크롤링하고있다.

다음은 로그 조각입니다 :

72.14.199.55 - - [07/Aug/2013:16:06:28 +0000] "GET/HTTP/1.1" 302 639 "-" "Mozilla/5.0 (compatible; GoogleApps script; +http://script.google.com/bot.html)" 

72.14.199.55 - - [07/Aug/2013:16:06:28 +0000] "GET /accounts/login/ HTTP/1.1" 200 3780 "-" "Mozilla/5.0 (compatible; GoogleApps script; +http://script.google.com/bot.html)" 

그리고 동일한 IP되고있다. 그리고 여전히,

이 크롤링 패턴을 볼 수 있습니까?

Answer 1

Google Apps Script를 사용하면 JavaScript 기반 코드를 작성하고 Google 서버에서 지정된 간격으로 실행되도록 설정할 수 있습니다.

이것은 Google의 웹 크롤러가 아니며 Google 사용자가 작성한 스크립트입니다.

또한 IP를 차단하면 Google 사용자가 "스크립트를 실행하지 못했습니다."와 함께 포격을 당하면서 매분 이메일을 보냅니다.