robots.txt 파일은 타사 색인 컨텐츠 사이트의 웹 크롤러를 차단하는 데 사용됩니다.GitHub 페이지에서 robots.txt를 사용하는 감각은 무엇입니까?
그러나이 파일의 목적은 사이트의 비공개 영역을 제한하거나 개인 영역을 보호하기위한 것이고, 이는 robots.txt로 콘텐츠를 숨기려는 의도에서 볼 때 GitHub 저장소에서 모든 것을 볼 수 있다면 의미가 있습니다 ?
제 질문은 사용자 정의 도메인을 사용하여 예제를 확장합니다.
GitHub 페이지 내에 robots.txt
파일을 사용하는 동기가 있습니까? 예 혹은 아니오? 그리고 왜? 콘텐츠의 경우 1
대체
효과적으로 다음 웹 사이트를 지불 할 필요가 된 것, 숨겨진 유지하는 것은 개인 저장소를 얻을 수 있습니다.
동기 부여는 다른 웹 사이트와 동일합니다. 로봇이 로봇의 일부를 크롤링하지 못하게합니다. 사적이거나 접근 할 수 없다면 아무 것도 할 수 없습니다 : 사적이거나 접근 할 수 없다면 로봇은 어쨌든 접근 할 수 없습니다. –