기존의 이유로 존재하고 완전히 제거되기를 기다리고있는 중복 개발 웹 사이트가 있습니다. 모든 검색 엔진을 거부하는 robots.txt 파일에는 항상 규칙이 있지만 한 번에 로봇 .txt는 우연히 삭제되었으며 특정 시점에는 두 개의 교차 도메인 중복이 있었고 Google은 중복 된 전체 웹 사이트의 색인을 생성하여 제작 웹 사이트로 들어오는 수천 개의 링크를
Google에서 색인 생성 한 사이트의 페이지를 차단하는 연령 확인 스크립트가있는 사이트에 문제가 있습니다. 이것에 대한 해결 방법은 매우 희박한 javascript와 css가 가장 보편적 인 솔루션을 오버레이하는 것처럼 보입니다. PHP를 사용하여 사이트에 액세스하는 봇인지 아닌지를 확인하고 그렇지 않은 경우 나이 확인 양식을 표시하는 이유가 있습니까?
URL은 대소 문자를 구분해야 함을 알고 있습니다. http://www.example.com/test.php
http://www.example.com/TEST.php
두 가지가 있어야합니다. 하지만 UTF-8도 대소 문자를 구분해야합니다. ? http://zh.wikipedia.org/wiki/%e8%a7%82%e6%b5%8b%e5%a4%a9%e6
거미에 의해 생성 된 앱 관련 있다. 이것들이 많지는 않지만 여러 거미가 하루에 여러 번 때리는 경우가 있습니다. 최악의 범죄자 (대부분 가비지 거미)를 차단했지만 Google과 Bing을 분명히 차단할 수는 없습니다. 수동으로 제거 할 URL이 너무 많습니다. 왜 응용 프로그램이 404 코드를 반환하지 않을지 모르겠지만 경로 중 하나가 URL을 포착하고보
최근에 서버에 많은 CPU 스파이크가 발생했으며 어떻게 든 실제 트래픽이 아니거나 일부가 실제가 아니라고 생각합니다. 그래서 지금은 Google 로봇, MSN, Yahoo 만 허용하고 싶습니다. 다음 robots.txt 파일이 제 요구 사항에 맞으면 안내해주십시오.
User-agent: Googlebot
User-agent: Slurp
User-ag
어쨌든 쉽게이 아약스 콘텐츠를 보려면 googlebot을 얻을 수 있습니까? 사용 후 아약스 방법 : 호출 페이지 : <html>
<head>
<title>TEST</title>
</head>
<body onload="getTest(1)">
<div id="txtHint"></div>
<script type="text/javascript">
google에 발행 할 상태 코드는 내 사이트의 다른 URL 구조를 시도하고 크롤링하려고합니다. 크롤링 오류가 발생하여 내 웹 마스터 도구에서이를 볼 수 있습니다. Google Bot으로부터 이러한 모든 요청 유형에 대해 어떤 상태 코드를 발행해야합니까? 현재 모든 페이지에 404가 없습니다. 이거 안전한가요?
어떤 이유로 Google 봇은 자주 get 매개 변수에 % 2letter %를 보내는 내 동적 페이지 중 하나를 때리는 것 같습니다. 내 액세스 로그에는 Google 로봇이 2 글자의 다양한 조합을 검색하는 수천 개의 항목이 있으며 몇 가지 조합이 여러 번 전송됩니다. . 이 행동에 대해서는 무엇입니까?
robot.txt 파일에서 나는 URL /custompages/*을 넣었으며 google bot은 "/ custompages /"와 일치하는 페이지를 크롤링해서는 안됩니다. 하지만 웹 마스터를 살펴본 후에도 해당 링크에서 오류 메시지가 계속 표시됩니다. User-agent: *
Disallow: /search/application/*
Disallow
그래서 Google은 간단한 첫 페이지 이외의 다른 사이트를 크롤링하지 않고 대신 500 개의 오류를 표시합니다. 웹 마스터 도구에서 Google로 가져 오는 것은 "HTTP/1.0 500 내부 서버 오류"헤더와 함께 전체 HTML 출력을 반환하는 것으로 나타났습니다. xampp에서 display_errors를 켜고 xampp에서 작업하지만 거기에 아무런