robots.txt

0열

1답변

robots.txt 정규식을 수락 하시겠습니까? 나는이 형식에 많은 URL의이 : https://example.com/view/99/title-sample-text ID ----------------------^ Title -----------------------------^ 나는이 사용 : Disallow: /view 을하지만이 작동하지 go

0열

2답변

전달 된 하위 도메인의 robots.txt는 무엇입니까? <code>subdomain1.mydomain.com</code> <code>subdomain2.mydomain.com</code> <code>subdomain2</code>는 외부 서비스를 가리키는 <code>CNAME</code> 기록을 가지고 : 이론적으로

나는 나의 호스팅에서 설정이 개 하위 도메인을 가지고있다. mydomain.com은 모두 색인을 생성 할 수있는 robots.txt입니다. subdomain2.mydomain.com은 CNAME 레코드로 인해 색인 생성을 허용하지 않는 robots.txt입니다. subdomain1.mydomain.com에서 subdomain2.mydomain.com으로 전

0열

1답변

Google 검색에서 특정 페이지의 색인을 생성하지 마십시오.

Google 검색에서 특정 페이지의 색인을 생성 할 수 있습니까? 저는 WordPress를 사용하고 있습니다. Robots.txt가 봇이 귀하의 웹 사이트를 크롤링하는 것을 막을 수 있다고 들었지만 색인 생성과 동일합니까? 전혀 가능합니까? (또한 웹 원더러스, 크롤러 또는 거미로 알려진)

3열

1답변

GitHub 페이지에서 robots.txt를 사용하는 감각은 무엇입니까?

robots.txt 파일은 타사 색인 컨텐츠 사이트의 웹 크롤러를 차단하는 데 사용됩니다. 그러나이 파일의 목적은 사이트의 비공개 영역을 제한하거나 개인 영역을 보호하기위한 것이고, 이는 robots.txt로 콘텐츠를 숨기려는 의도에서 볼 때 GitHub 저장소에서 모든 것을 볼 수 있다면 의미가 있습니다 ? 제 질문은 사용자 정의 도메인을 사용하여 예제를

-4열

1답변

장고 : Heroku가 응용 프로그램이 충돌 "방법 = 경로를 GET ="/ robots.txt에

My app works fine on localhost but whenever i push it to heroku it gives the error below and app crashes

1열

1답변

https로 리디렉션 한 후 http 사이트의 robots.txt

Google Robots.txt Specification은 로봇 문자 xxx http://example.com/robots.txt이 도메인 https://example.com에 유효하지 않음을 나타냅니다. 아마도 그 반대 일 수도 있습니다. 그것은 또한 robots.txt를 요청할 때 리디렉션 다음에 대해 대답이 가지고 3xx의 (재) 리디렉션 일반적 따라

2열

1답변

봇이 GCloud에서 호스팅되는 웹 사이트에 액세스하지 못하도록하십시오.

모든 검색 엔진 봇이 내 웹 사이트에 액세스하지 못하게하려고합니다. 이러한 권한을 robots.txt 파일에 지정할 수 있지만 Google 클라우드에서이 파일을 편집하려면이 파일에 액세스 할 수 있는지 잘 모르겠습니다. Gcloud와 함께 Python을 사용하여 웹 서버를 개발했습니다. 다음 주제를 읽었습니다. http://stocksonfire.in/se

-1열

1답변

의 robots.txt 형식은 루트 URL 자체

내 응용 프로그램의 URL은 ... 다음 http://example.com/app/1 http://example.com/app/2 http://example.com/app/3 처럼하지 URLsbut http://example.com/app/n 가 지금은 크롤링에서 모든 URL을 차단하려는 있지만이 http://example.com/app 나는이 사용하는 r

1열

1답변

Google 검색 내용 :이 페이지에 대한 정보가 없습니다

Google에서 내 웹 사이트를 검색 할 때 내 도메인과 함께 첫 번째 장소로 표시되지만 설명은 "이 페이지에 대한 정보가 없습니다." 이 User-agent: * Disallow: /bin/ 이미 같은 적절한 메타 정보를 포함하는 내 홈 페이지와 같은 robots.txt에 : <meta name="description" content="My webs

1열

1답변

Robots.txt - .html 파일의 색인을 방지하십시오.

Google 사이트에서 * .html 파일의 색인을 막고 싶습니다. 그래서 깨끗한 URL이 색인됩니다. 그래서 나는 색인 www.example.com/en/login 싶습니다하지만 www.example.com/en/login/index.html 현재 내가 가진 : User-agent: * Disallow:/ Disallow: /**.html - not w