적절한 robots.txt 구성에도 불구하고 Google SERP에 사이트가 표시됩니다.

Question

Google에 색인을 달지 않게하려는 ExpressJS 웹 응용 프로그램이 내부 용으로 제공됩니다.

app.get('/robots.txt', function(req,res) { 
    res.set('Content-Type', 'text/plain'); 
    res.send('User-agent: *\nDisallow: /'); 
} 

나는이 URL을 타격하고 그럼에도 불구하고

User-agent: * 
Disallow:/

인 응답을 확인하여, 잘 작동하고 있다는 것을 확인, 내가 볼 수 있습니다 : 그래서 다음과 같은 경로를 구현 내 사이트 제목을 검색 할 때 Google에서 내 페이지 결과. 앱이 1 년 동안 온라인 상태 였기 때문에 캐시 된 결과가 없었을 것입니다. 이것이 일어나는 다른 가능한 이유가 있습니까? 문제를 해결할 수있는 방법은 무엇입니까?

Answer 1

https://webmasters.stackexchange.com/questions/54879/does-google-ignore-robots-txt

구글은 여전히 ​​robots.txt에 의해 차단 된 사이트를 볼 수 있습니다, 심지어 검색 결과를 나열 할 수 있습니다.

전체 도메인/하위 도메인이 차단 된 경우 특히 그렇습니다. Google은 텍스트와 함께 이들에 대한 링크를 나열합니다.이 사이트의 robots.txt로 인해이 결과에 대한 설명을 사용할 수 없습니다 - https://support.google.com/webmasters/answer/156449에 대한 자세한 내용을 알아보십시오.

출력 페이지에 <meta name="robots" content="noindex, nofollow">을 추가하십시오.

편집 주석의 discission에서 : 당신이 robots.txt에있는 페이지를 허용하지만, 메타 태그를 사용하여 색인되는 것을 차단하면

는 Googlebot이 메타를 읽고 페이지에 액세스합니다 태그를 만들고 색인을 생성하지 않습니다.

그래서 Google이 사이트를 크롤링하지 못하게하려면 robots.txt에서 deny를 사용하고 메타 태그가 필요 없습니다.
사이트를 가리키는 외부 링크가있는 경우 : google에 표시되는 페이지에서 allow robots.txt를 사용하고 noindex를 사용하고 nofollow를 사용하십시오.

검색 쿼리로 사용 site:stackoverflow.com, 그리고 구글이 색인을 해당 웹 사이트의 기본적으로 모든 페이지를 나열합니다 :

어떻게 구글은 당신이있는 페이지를 참조 easely합니다.

이 구글에서 귀하의 페이지를 크롤링하는 방법에 대한 자세한 내용을 보려면 : https://support.google.com/webmasters/topic/4617736?hl=en&ref_topic=4589290

은 또한, 기억, 구글은 유일한 검색 엔진이 아니다. bing, yahoo, baidu 및 기타 검색 엔진이 많으며 메타 태그 또는 로봇으로 모두 잘 돌아가는 것은 아닙니다. 일부는 다른 검색 엔진 인 척하면서 크롤링이 차단되지 않습니다.