robots.txt

0열

1답변

샘플 문제가 있습니다. URL과 HTML을 입력으로 사용하며 크롤러가 googlebot 사용자 에이전트로 크롤링 할 수없는 요소를 가져와야합니다. Robots.txt 파일은 크롤링되지 않은 모든 요소를 제공하지 않으며이 요소를 감지하는 데 문제가 있습니다. 그 점에 대해 알고 계십니까? 고맙습니다.

0열

1답변

URL이 robots.txt에 의해 차단되었습니다.

누군가 내가 잘못 가고 있는지 말해 줄 수 있습니까? 나는 웹 사이트에서 코딩하는 것을 처음 봤지만 robots.txt 파일에 대한 사이트 맵과 링크에 대해 연구 해왔다. Google 웹 마스터는 내 사이트 맵을 추가하지 않으므로 내 robots.txt가 사이트 맵을 차단하고 있기 때문이다. 이건 내 robots.txt 파일입니다 : 만 밖으로 시작하고 r

0열

2답변

robots.txt를 컨텍스트 경로에 유지하고 301 리디렉션을 사용할 수 있습니까?

내 웹 사이트는 contextpath (예 : www.example.com/abc)를 사용합니다. robots.txt는 www.example.com/abc/robots.txt에서 다운로드 할 수 있으며 www.example.com/robots.txt를 www.example.com/abc/robots.txt로 리디렉션하기 위해 웹 서버에서 301 리디렉션을

0열

1답변

포함 된 하위 폴더와 색인 링크를 중지하는 방법 (예)와 같은 구글에서 내 웹 사이트해야 인덱스에

내 실제 링크 : www.mywebsite.com/title,id,sometext,sometext www.mywebsite.com/include/title,id,sometext,sometext www.mywebsite.com/img/min/title,id : 예기치 않게 구글 검색 whitch 예를 들어 발생하지 않습니다 하위 폴더가 내 웹 사이트를 색인

0열

1답변

하위 도메인에 대해 robots.txt 파일을 올바르게 작성하는 방법은 무엇입니까? 내가 모든 크롤러 인덱스 루트 및 일부 특정 하위 도메인</p> <pre><code>User-agent: * Allow:/ Allow: /subdomain1/ Allow: /subdomain2/ </code></pre> <p>이 권리가 있음을 원한다면 난에 robots.txt 파일을 작성하는 방법을

은 누군가가 나를 설명 할 수 있습니까? 그리고 그것을 어디에 넣어야합니까? 루트 (public_html) 폴더 또는 각 하위 도메인 폴더에 있습니까?

0열

1답변

검색 엔진에서 트래픽 관리자 끝점을 숨기고 사용자 정의 도메인을 노출하십시오.

저는 Azure에서 호스팅되고 트래픽 관리자를로드 밸런서로 사용하는 ASP.NET MVC 웹 사이트를 실행 중이므로 사용자는 과 같은 사용자 정의 도메인으로 웹 사이트를 방문 할 수 없습니다 foobar.yourcompany.com뿐만 아니라 Azure Traffic Manager에서 제공하는 끝점은 foobar.trafficmanager.net입니다. 그

0열

1답변

파이썬 txt 추출기 및 구성도

그래서 일부 costumers의 세부 정보를 추출하고 새로운 데이터베이스에 저장해야합니다. 나는 단지 txt 파일을 가지고 있습니다. 그래서 우리는 5000 명의 costumers 또는 그 이상의 txt 파일을이 방법으로 모두 저장했습니다. : first and last name NAME SURNAME zip country n. phone numb

0열

1답변

Drupal robots.txt가 여전히 아파치 로그 파일에 기록되지 않습니까?

Drupal 웹 사이트의 특정 에이전트에 대해 robots.txt에 몇 가지 규칙을 설정했습니다. 나는 하나의 질문이 있습니다. 이 에이전트가 웹 사이트에 액세스하려고하면이 액세스 권한이 여전히 내 apache access_log 파일에 기록됩니까?

6열

3답변

크롬에서 robots.txt를 요청하는 이유는 무엇입니까?

내 로그에서 Chrome이 예상 한 모든 항목 옆에 robots.txt을 요청했음을 알았습니다. [...] 2017-09-17 15:22:35 - (sanic)[INFO]: Goin' Fast @ http://0.0.0.0:8080 2017-09-17 15:22:35 - (sanic)[INFO]: Starting worker [26704] 2017-0

0열

1답변

Google에서 색인을 생성 할 수있는 페이지 만 허용

크기가 큰 사이트 (40,000+ 페이지)를 보유하고 있으며 Google에서 색인 생성하는 페이지의 수준을 최소화하고자합니다. 즉 500 페이지 만 색인을 생성하고 싶습니다. 나는 Noindex'ing 페이지의 옵션을 찾을 수 있으며 Noindex 39,500 페이지는 의미가 없습니다. 내 Robots.txt 파일의 예입니다. robots.txt에가에 Us