robots.txt

2열

4답변

우리 웹 서버의로드 밸런싱을 곧 시작해야 할 것처럼 보입니다. 한 호스트에서 문제가되지 않는 robots.txt를 동적으로 편집하라는 기능 요청이 있습니다.하지만 일단로드 밸런서를 설치하고 나면 파일을 scp로 보내야합니다. 다른 호스트. 매우 '나빠'는 것 같습니다. 이 상황을 어떻게 처리할까요? 나는 이미 (imo) 그가 robots.txt 편집에서 원

0열

1답변

Robots.txt를 http://example.com vs.http : // www.example.com

우리가 그대로 유지해야하는 두 개의 코드베이스가 어디 상황이 .. 예 : http://example.com. 그리고 새 사이트 http://www.example.com. 이전 사이트 (NO WWW)은 일부 레거시 코드를 지원하고 규칙이 있습니다 User-agent: * Disallow:/ 을하지만 (WWW)와 새 버전에서 더 robots.txt 없다.

0열

1답변

robots.txt에서 301 리디렉션을 수행 할 수 있습니까?

전 레거시 링크가있는 사이트가 있습니다. 이제는 새로운 링크에 매핑해야합니다. 검색 엔진 결과를 업데이트하여 기존 검색 결과가 사라지고 바뀌어야합니다. CMS 때문에 프로그램 적으로이 작업을 수행 할 수는 없지만 robots.txt 파일에서 301 리디렉션을 설정하면 검색 엔진 결과를 최소한으로 업데이트 할 수 있는지 궁금합니다. 나는 이것에 대해 웹에서

1열

3답변

Wordpress 사이트의 robots.txt 파일을 변경하는 SEO 혼란

최근 WordPlugin을 사용하여 내 사이트의 robots.txt 파일을 편집했습니다. 그러나, 내가 이것을 한 이후, 구글은 검색 페이지에서 내 사이트를 제거한 것으로 보인다. 이것이 왜 그렇게, 그리고 가능한 해결책에 대한 전문가 의견을 얻을 수 있다면 고맙겠습니다. 처음에는 Google에서 액세스하는 페이지를 제한하여 검색 순위를 높이기 위해이 작업

-1열

2답변

htaccess로 내 사이트를 처리하는 동안 robots.txt를 사용할 수 있습니까

내 사이트에 대한 모든 요청이 내 루트 디렉토리의 색인 페이지로 리디렉션되도록 내 사이트에서 htaccess를 사용하고 있습니다. 내 htaccess에서 제한하기 때문에 내 사이트의 다른 파일에 액세스 할 수 없습니다. 의심 스럽지만 robots.txt 파일을 사용할 때 검색 엔진이 내 도메인의 robots.txt 파일에 도달 할 수 있습니까? 또는 hta

0열

1답변

index.html에서만 SE 인덱싱 허용

* 검색을 차단하는 가장 짧은 방법은 무엇이며 주요 검색 엔진 만 사이트의 색인 페이지 만 색인화 할 수 있습니까? User-agent: * Disallow:/ User-agent: Googlebot Disallow:/ Allow: index.html User-agent: Slurp Disallow:/ Allow: index.html User

0열

2답변

차단 된 링크가 사이트 맵

robots.txt에 차단 된 링크를 생성하는 online sitemap generator tool을 사용 중입니다. 차단 된 링크가 사이트 순위에 영향을 줍니까? . 그것을 극복하기 위해 어쨌든 있습니까?

1열

1답변

robots.txt에 ignrore 모든 폴더 만 루트에있는 모든 파일을 크롤링

난 다음 사용자 에이전트 수행해야합니다 *를 허용 안 : 그것은 그렇게 간단/ 입니까? 또는 루트의 파일을 크롤링하지 않습니까? 은 기본적으로 즉 난 후 나는 무엇을 - 모든 에서 모든 파일/루트의 페이지가 아니라 폴더 중 하나를 크롤링 또는 내가 명시 적으로 각 폴더를 지정해야 할 것입니다 .. 즉 사용 해제 :/관리자 허용 안 : /이 등등 감사 NAT

1열

1답변

robots.txt 구성

이 로봇 파일에 대해 약간의 의문점이 있습니다. User-agent: * Disallow: /administrator/ Disallow: /css/ Disallow: /func/ Disallow: /images/ Disallow: /inc/ Disallow: /js/ Disallow: /login/ Disallow: /recover/ Dis

3열

1답변

robots.txt가 action = history가있는 항목을 무시할 수 있습니까?

MediaWiki가 있습니다. Google에서 페이지의 기록을 색인에 추가하려고하지 않습니다. robots.txt은 쿼리 문자열에 action=history의 URL을 허용하지 않으려면 어떻게해야합니까?