봇/googlebot 색인 생성 프로모션 홈 페이지를 방지하는 방법은 무엇입니까?

전자 상거래 웹 사이트가 있습니다. 일부 마케팅 및 프로모션 캠페인으로 인해 사용자가 쿠키 기반으로 처음으로 사이트를 방문하는 경우 우리는 홈 페이지에 앱 다운로드 페이지/배너/프로모션/큰 이미지 (및 그 밖의 다른 것)를 표시합니다.봇/googlebot 색인 생성 프로모션 홈 페이지를 방지하는 방법은 무엇입니까?

하지만 봇/크롤러가이 콘텐츠 (큰 이미지)를 보지 못하게 대신 쿠키를 설정 한 후 제공되는 실제 콘텐츠를보아야합니다. URL은 두 콘텐츠에서 동일합니다.

이 점에 대해 더 자세히 설명 할 수 있습니다. 봇이 프로모션 콘텐츠를 보는 것을 어떻게 피할 수 있습니까?

출처

2014-04-11 ʞɹᴉʞ ǝʌɐp

이제는이 함수를 사용하여 PHP 컨트롤러 코드에서 봇/크롤러를 탐지하고 필요에 따라 리디렉션을 수행합니다.

function bot_detected() 
{ 
    if 
    (
    !isset($_SERVER['HTTP_USER_AGENT']) 
    || 
    empty($_SERVER['HTTP_USER_AGENT']) 
    || 
    preg_match('/bot|crawl|slurp|spider/i', $_SERVER['HTTP_USER_AGENT']) 
    ||  
    preg_match('/scrappy/python/httpclient/Googlebot|DoCoMo|YandexBot|bingbot|ia_archiver|AhrefsBot|Ezooms|GSLFbot|WBSearchBot|Twitterbot|TweetmemeBot|Twikle|PaperLiBot|Wotbox|UnwindFetchor|facebookexternalhit/i', $_SERVER['HTTP_USER_AGENT']) 
    ) 
    { 
    return TRUE; 
    } 
    return FALSE; 
}

출처

2014-05-11 07:36:47

robots.txt 파일이 필요합니다. Wikipedia에서

: 또한 로봇 제외 프로토콜 또는 robots.txt에 프로토콜로 알려진 로봇 배제 표준,하는의 전부 또는 일부를 액세스에 대한 협력 웹 크롤러 및 기타 웹 로봇을 조언에 규칙이

달리 공개적으로 볼 수있는 웹 사이트 로봇은 웹 사이트를 분류하고 보관하기 위해 검색 엔진에서 자주 사용되거나 소스 코드를 교정하기 위해 웹 마스터에 의해 사용됩니다. 이 표준은 웹 사이트의 로봇 포함 표준 인 Sitemaps와 다르지만 Sitemaps와 함께 사용할 수 있습니다.

"악의적 인"로봇은 이러한 지시어를 무시할 수 있습니다. 그러나 Google 및 기타 검색 엔진은 올바르게 설정해야 제공됩니다.

출처

2014-04-11 22:17:56

봇에서 내 홈페이지 URL을 제외하고 싶지 않습니다. 대신 쿠키가 설정된 시점에 사용자가 보는 페이지를 보봇 (bot)이 보길 원합니다. 따라서 사용자가 처음으로 방문하면 사용자에게 홍보용 콘텐츠가 표시됩니다. 나는 봇이 정상적인 콘텐츠 (프로모션이 아님)를보고 싶습니다. URL이 정확히 동일하다는 것을 기억하십시오. 같은 URL을 조건으로하는 경우와 같습니다. –

웹 크롤러를 통해 쿠키를 설정할 수는 없으므로 다른 방법을 찾아야합니다. 그래도 프로모션 콘텐츠를 색인 생성하지 못하게하는 방법에 대한 답변은 있지만 구체적으로 요청한 페이지가 아닌 다른 페이지로 리디렉션하는 것은 까다 롭습니다. Google은 적어도이 "클로킹"(https://support.google.com/webmasters/answer/2604723?hl=ko)을 "부정 행위"라고 생각합니다. –

봇/googlebot 색인 생성 프로모션 홈 페이지를 방지하는 방법은 무엇입니까?

답변

관련 문제