Google은 새로운 robots.txt 파일을 무시합니다 - SERP에 정보를 표시하지 않습니다

Question

덴마크 항공 검색 엔진을 사용하고 있습니다. 이전에 내 사이트의 대부분에 대해 제목 태그와 설명을 제거하는 결함이있는 robots.txt 파일을 설정했습니다.

지금 나는이에 robots.txt를 수정했습니다

덴마크입니다 :

# Robots file for www.billigeflybilletter.dk 
User-Agent: * 
Disallow: /wp-admin/ 
Disallow: /hoteller 
Allow: /wp-admin/admin-ajax.php 
Allow: /flyforsinkelse/ 

그러나, 매우 중요한 페이지 https://www.billigeflybilletter.dk/flyforsinkelse/ 여전히 색인이 표시 "아니".

여기서 내가 잘못하고있는 것은 무엇입니까?

robots.txt 파일은 HTTP가 아닌 HTTPS와 비 HTTPS 모두에 액세스 할 수 있습니다.

Answer 1

현재 robots.txt를 사용하면 해당 페이지를 크롤링 할 수 있습니다.

기본적으로 모든 항목 (명시 적으로 허용되지 않는 항목)을 크롤링 할 수 있으므로이 줄은 필요하지 않습니다 (Allow: /flyforsinkelse/).

다음 번에 Googlebot이 사이트에서 무언가를 크롤링하면 robots.txt를 가져 와서 이전보다 더 많이 크롤링 할 수 있다는 것을 알게되고 그 다음에는 "새로운"크롤링을 크롤링합니다. 페이지 (링크가있는 경우). 이 작업은 몇 분, 몇 시간, 며칠 또는 몇 주가 걸릴 수 있습니다.