0
IIS에서 호스팅되는 응용 프로그램이 있으며 원하지 않는 폴더에 특정 파일이 있습니다 등록 할 검색 엔진. 나는 this을 읽고검색 엔진이 IIS 폴더의 파일을 가져 오며 모든 URL에 연결되지 않고 찾아 볼 수없는 폴더에 있습니다.
는 :
The robots.txt standard is meant for this. Example
User-agent: *
Disallow: /protected-directory/
나는이 반드시 파일이 인덱싱되지 않습니다 것을 의미하지 않는다는 것을 이해합니다.
내 질문 : 검색 엔진이 파일로 연결되는 URL이없는 파일을 선택하겠습니까? 이 디렉터리는 찾아 볼 수 없으며 해당 디렉터리에 대한 링크가 없습니다. 파일을 삭제해도 안전합니까? 아니면 검색 엔진 크롤러가이 파일을 선택합니까? 웹 어딘가에 게시 된 링크를 가지고 있지 않으며, 디렉토리가 아닌 탐색 가능한 경우
덕분에 빅터는 바로이 폴더가있는 경우, 확인 결코 것 "모든 사용자"에게 읽기 액세스 권한이 설정된 경우 파일에 대한 링크가 없어도 크롤링됩니다. –
크롤링되지 않습니다. –