robots.txt를 사용하여 로봇의 크롤링 속도를 변경할 수 있습니다. 하지만 Googlebot은 robots.txt를 고려하지 않으므로 다른 방법을 찾습니다.Googlebot이 일부 페이지를 자주 색인 생성하지 못하도록합니다.
내 사이트에는 약간의 변경으로 인해 페이지가 매우 자주 변경됩니다. 하루에 20-30자를 말하십시오. 하지만 Googlebot이 자주 색인을 다시 생성하는 것을 원하지는 않습니다. Googlebot이 매월 색인을 생성하려고합니다. 다음과 같은 메타 태그로 만들 수 있습니까?
<META HTTP-EQUIV="expires" CONTENT="Wed, 26 Feb 1997 08:21:57 GMT">
Googlebot이이를 무시합니까? 또는 다른 솔루션을 권장 할 수 있습니까?
XML Sitemap을 생성하는 것이 좋습니다.
사이트 맵을 사용하면 검색 엔진에 전달하려는 매개 변수, 즉 페이지에 부여한 중요도 (또는 가중치) 및 페이지 (일반적으로)가 업데이트되는 속도를 지정할 수 있습니다.
이것은 검색 엔진만으로 고수한다는 것을 의미하지 않습니다. 일년에 한 번 페이지가 업데이트되고 그 해에 3 회 크롤링되거나 일일로 설정되고 한 달에 한 번 크롤링된다는 것입니다.
이러한 URL을 사용하여 sitemap을 만들고 <changefreq> 요소를 monthly으로 설정할 수 있습니다. 이들은 엔진 검색에 대한 힌트 일 뿐이지 만 아마도 가장 좋은 방법 일 것입니다.
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.example.com/latest-updates.html</loc>
<changefreq>monthly</changefreq>
</url>
</urlset>