2017-12-22 31 views
3

robots.txt 파일은 타사 색인 컨텐츠 사이트의 웹 크롤러를 차단하는 데 사용됩니다.GitHub 페이지에서 robots.txt를 사용하는 감각은 무엇입니까?

그러나이 파일의 목적은 사이트의 비공개 영역을 제한하거나 개인 영역을 보호하기위한 것이고, 이는 robots.txt로 콘텐츠를 숨기려는 의도에서 볼 때 GitHub 저장소에서 모든 것을 볼 수 있다면 의미가 있습니다 ?

제 질문은 사용자 정의 도메인을 사용하여 예제를 확장합니다.

GitHub 페이지 내에 robots.txt 파일을 사용하는 동기가 있습니까? 예 혹은 아니오? 그리고 왜? 콘텐츠의 경우 1
대체

효과적으로 다음 웹 사이트를 지불 할 필요가 된 것, 숨겨진 유지하는 것은 개인 저장소를 얻을 수 있습니다.

+0

동기 부여는 다른 웹 사이트와 동일합니다. 로봇이 로봇의 일부를 크롤링하지 못하게합니다. 사적이거나 접근 할 수 없다면 아무 것도 할 수 없습니다 : 사적이거나 접근 할 수 없다면 로봇은 어쨌든 접근 할 수 없습니다. –

답변

2

robots.txt의 의도는 로봇이 액세스 할 수 없기 때문에 개인 영역을 제한하는 것이 아닙니다. 그 대신에 당신은 검색 엔진 등등으로 색인을 달고 싶지 않은 잡다한 것을하거나 기타를 가지고있는 경우가 있습니다.

예를 들어 말해보세요. 나는 오락을 위해 플래시 게임을 쓴다. GitHub Pages를 사용하여 게임이 업데이트를 확인할 수 있도록한다. 내부 새 버전의 수, 새 버전의 표시 이름, 및 다운로드 링크 : 나는 누구의 모든 콘텐츠 그것은 세 가지 정보가 포함

10579 
2.2.3 
https://github.com/iBug/SpaceRider/tree/master/SpaceRider%202 

입니다, 내 GHP에 this file를 개최했다. 따라서 크롤러가 색인을 생성 할 때 확실히 쓸모가 없으므로 robots.txt이라는 색인을 지우지 않는 것이 좋습니다.

+0

그러면 robots.txt 파일은 My 저장소의 가비지를 숨기는 데에만 사용됩니까? 제한된 지역을 보호하는 역할을하지 않습니까? –

+2

@ JonathasB.C. robots.txt가 없어도 크롤러 **는 제한된 영역에 액세스 할 수 없습니다. 크롤러는 **에 액세스 할 수있는 특정 영역을 무시하도록 지시합니다. – iBug