robots.txt

2열

2답변

googlebot이 Ajaxified Links를 크롤링하지 못하게하려면 어떻게해야합니까?

나는 투표, 투표 다운, 포스트 표준 커뮤니티 중재에 대한 플래그와 같은 일을하는 ajaxified 링크를 가지고있다. 문제는 googlebot이 해당 링크를 크롤링하고, 투표하고, 투표하고, 항목에 플래그를 지정하는 것입니다. robots.txt에 추가하면 googlebot이 해당 링크를 크롤링하지 못하게됩니까? 아니면 제가해야 할 일이 있습니까? Use

3열

1답변

Robots.txt가 모든 https : // 페이지에 대한 액세스 차단

봇에 대한 모든 액세스를 https : // 페이지에 차단하는 구문은 무엇입니까? SSL을 가지고 있지 않은 기존 사이트에서 모든 https : // 페이지에 대한 액세스를 차단하고 싶습니다.

29열

10답변

robots.txt 윤리

나는 심각한 질문이 있습니다. 웹 사이트에서 robots.txt 파일의 존재를 무시하는 것이 윤리적입니까? 이 내가 마음에있어 몇 가지 고려 사항은 다음과 같습니다 누군가가 그들이 어떤 방문을 기대하고 웹 사이트를 박았합니다. 물론, 웹 크롤러는 사이트를 지원할 수있는 광고를 클릭하지 않고 대역폭을 사용하고 있지만 사이트 소유자는 자신의 사이트를 웹에 올려

3열

2답변

모든 검색 엔진에서 sitemap.axd를 사용할 수 있습니까?

현재 sitemap.axd로 설정된 경로와 함께 HttpHandler를 사용하여 동적으로 사이트 맵 파일을 생성 중입니다. 그런 다음 xml 콘텐츠를 반환합니다. 내 사무실에서 아무도 모든 검색 엔진이이 확장을 허용하거나 .xml을 구문 분석해야하는 경우 확실하지 않습니다. 웹 마스터 도구를 통해 Google에 제출하고 robots.txt를 사용하여 사이트

7열

2답변

모든 동적 URL의 robots.txt에있는 모든 동적 URL을 허용하는 방법 robots.txt에

을 허용하는 방법 내가 /? Q =

1열

3답변

의 robots.txt와 와일드 카드 OD 내가 그들 중 하나가 동적 색인 2 페이지를 허용 할 필요가

허용 site.com/news-all.php 내가의 robots.txt에 작성해야 : User-agent: * Disallow: /news 또는 Disallow: /news* 또는 Disallow: /news.php* Disallow: /news-all.php 끝에 와일드 카드를 사용해야하나요?

5열

3답변

Plone에서 robots.txt를 어떻게 수정합니까?

내가 관리하는 Plone 사이트가 있는데, robots.txt의 Disallow에 일부 페이지를 추가하고 싶습니다. Plone은 자동으로 robots.txt 파일을 생성합니다. 나는 그것을 수정할 어떤 방법을 찾을 수 없습니다. 또한 'robots.txt'파일을 앱의 루트에 추가하려고 시도했지만 'robots.txt가 예약되었습니다.'라고 말합니다. Plo

3열

1답변

의 robots.txt는 : 주어진 "URL을 깊이"

에 액세스하기 위해 로봇을 차단 나는이 구조에 링크가 있습니다 http://www.example.com/tags/저쩌구 http://www.example.com/tags/blubb http://www.example.com/tags/ㅋ/blubb (두 태그 모두와 일치하는 모든 항목) 구글에 &은 URL에 하나의 태그가 있지만 두 개 이상의 태그가있는 URL

18열

6답변

robots.txt 및 sitemap.xml에 대한 URL로 리디렉션하도록 nginx를 구성하는 방법

couchdb의 프록시 프런트 엔드로 nginx 0.6.32를 실행하고 있습니다. 나는 데이터베이스에 robots.txt를 가지고 있는데, 도달 할 수있는 곳은 http://www.example.com/prod/_design/mydesign/robots.txt입니다. 비슷한 URL에 동적으로 생성 된 sitemap.xml도 있습니다. server {

3열

3답변

내 사이트의 Googlebot 색인을 생성합니까? 내 robots.txt 파일에

, 나는 다음 줄을 사용자 에이전트가 : Googlebot이 모바일 허용 안 :/ 사용자 에이전트 : GoogleBot이 허용 안 :/ 사이트 맵 : http://mydomain.com/sitemapindex.xml http://mydomain.com/sitemapindex.xml가에서 수있을 Googlebot이됩니다 나는 내가 처음 4 개 라인을 넣어 경