나는 다음과 같은 URL 형식이 있습니다와일드 카드를 사용하여 봇이이를 인덱싱하는 것을 차단하려면 어떻게해야합니까?
example.com/page/m6aoeh/embed
내가 URL로 모든 페이지를 색인에서 모든 봇을 차단하려는를 /page/*/embed
나는, 와일드 카드 URL 블록을 할 수있는 몇 가지 방법이 있으리라 믿고있어하지만 이 특별한 경우에 어떻게해야할지 모르겠습니다.
/page/ 폴더의 모든 항목에 봇이 색인을 생성하지 말 것을 봇에 알리고 싶다면 robots.txt exclusion standard을 사용하십시오. 이처럼 보이는 /robots.txt 만들기 :
User-agent: *
Disallow: /page/
를 색인에 봇 일부 /page 폴더 아래 페이지가 아닌 다른 사람을 원하는 경우에, 당신은 당신이 제외 할 각 페이지에 <head>에 <meta> tag를 추가해야합니다.
<meta name="robots" content="noindex, nofollow" />
예를 들어 URL에는'page' (단수)가 있고 경로 필터에는'pages' (복수형)이 있습니다. 나는 그들 중 하나가 오타라고 추측하고있다. 어느 것이 옳은가요? – Asaph
오타되었습니다. 게시물을 업데이트했습니다. – Shpigford