좋아, 제품 관련 정보를 반환하는 API를 호출하는 일련의 버튼이있는 웹 사이트가 있습니다. 내가 가진 문제는 Google이 하루 10 분의 조회를하고 있다는 것을 의미하는 매 10 분 approximatley에 액세스하여이를 따르고 있다는 것입니다.google이 내 API를 따르지 않도록하십시오
Google 봇이이 일을 막을 수 있습니까 ??
robots.txt 파일이 있고 팔로우 메타가 없습니다.하지만별로 도움이되지 않는 것 같습니다.
모든 조언을 주시면 감사하겠습니다.
User-Agent: *
Disallow:/index/
Disallow /manufacturer/
난 그냥 페이지가 확장 제조 업체 당신을 위해 당신의 robots.txt를 분석하고 당신이 그것을하고 있는지 알려드립니다
감사
이 사진을 보았습니까? http://stackoverflow.com/questions/344697/googlebots-ignoring-robots-txt?rq=1 –
'robots.txt' 파일 내용을 게시하십시오. –
친절하게도 다음 페이지를 방문하십시오. http://support.google.com/webmasters/bin/answer.py?hl=ko&answer=156449&from=35237&rd=1 –