직접 URL을 알고있는 경우 공개적으로 평가할 수있는 파일을 웹에 배치한다고 가정 해 보겠습니다. 파일을 가리키는 링크가 없으며 서버에서도 디렉토리 목록이 비활성화되었습니다. 공개적으로 액세스 할 수있는 동안이 파일의 정확한 URL을 입력하는 것 외에는 페이지에 연결할 수있는 방법이 없습니다. 어떤 종류의 웹 크롤러 (좋거나 악의적 인)가 파일을 크롤링 한 다음 색인을 생성하여이 파일을 찾을 수있는 기회는 무엇입니까?웹 크롤링 및 제한점
공개적으로 액세스 할 수 있더라도 행운을 필요로하거나 파일을 찾는 구체적인 지식이 필요합니다. 뒤뜰 옆에 금을 묻어두고 누군가가지도없이 그것을 발견하거나 무언가를 아는 것이 그곳에 묻혀있는 것과 같습니다.
나는 그것이 발견 될 다른 방법을 볼 수 없지만 그 이유는 내가 stackoverflow 커뮤니티를 요청 해요.
감사합니다.
링크는 어디에서나 발생할 수 있습니다. 누군가 Twitter에 링크하거나 Facebook에 게시하거나 블로그에 댓글을 달 수 있습니다. 그것은 단지 하나 걸립니다.
아무데도 나타나지 않는 것이 중요 할 경우 암호 뒤에 입력하십시오.
중요하지 않지만 검색 엔진을 통해 쉽게 액세스 할 수없는 경우 robots.txt 파일을 사용하여 올바르게 작동하는 크롤러를 차단하십시오.
Google 검색 API를 사용할 수 있습니다. 다른 웹 페이지와의 연결이 해제 된 웹 페이지의 경우 우리는 그것에 대해 모른다. 이 가정
어 ....... 무엇? – ceejayoz
:
글쎄, 페이지가 아마 발견되거나 발견되지 않을 것이다 운이 좋다.
결론?
.htaccess 파일을 사용하여 데이터를 보호하십시오.
사용자가 의도하지 않더라도 우연히 링크가 퍼질 가능성이 매우 높습니다. –
감사합니다. 예 .htaccess에 대한 좋은 지적입니다. 아무도 서버에 대한 관리자 권한을 가진 사람을 제외한 파일에 대해 알지 못하므로 페이지의 주소까지 특권 및 기밀 정보가 있습니다. –
어둠을 통한 보안은 절대로 작동하지 않습니다. 당신은 이라고 말하면, 당신은이 아닙니다. 나는 당신을 믿습니다. 그러나 사용자가 의도적으로 또는 비 의도적으로 사용자를 연결하는 것을 막을 수있는 방법은 없습니다. ceejayoz가 지적했듯이, 이제 링크를 게시 할 수있는 많은 장소가 있습니다. 심지어 사람들이 사적이라고 생각할 수도 있지만 실제로는 세계에 열려있는 "북마크 동기화 기"가 있습니다.
실제 인증을 사용하십시오. 그렇지 않으면 나중에 후회할 것입니다.
여기에 동의 할 수 없으며 서버에 대한 관리자 권한이있는 사용자를 제외한 누구도이 파일의 위치를 알지 못합니다. 누군가는 공개적으로 액세스 할 수있는 파일에 대해 놀랄 뿐인데, 여기에 우려가 있다는 것을 이해하지만 그 사람은 또한이 파일의 심각성과 누군가가 파일을 발견 할 실제 가능성에 대해 비합리적이고 합리적이지 않습니다. –
Google Toobar 및 유사한 도구의 존재로 인해 누군가가 귀하의 '모호한'URL에 대한 통지를 받게됩니다. – Javier
관리자 만 액세스 할 수있는 경우 로컬 호스트의 HTTP 가상 호스트에만 넣고 ssh로 만들 수는 없습니다. 그런 다음 로컬 브라우저를 사용 하시겠습니까? –
정확합니다.은유 적으로 웹 크롤러는 거미입니다. 웹 크롤러 (하이퍼 링크)를 통과하여 페이지에 도달 할 수있는 방법이 필요합니다.
검색 엔진의 결과에 가설적인 페이지를 가져 오려면 수동으로 URL을 검색 엔진에 제출해야합니다. 이 검색 엔진에 페이지를 제출하기위한 여러 서비스가 있습니다. "검색 엔진에 URL 제출"참조
또한 검색 엔진이 검색 엔진의 독점 순위 시스템 내에서 충분한 메타 데이터/카르마를 가지고 있다고 검색 엔진에서 판단한 경우에만 페이지가 나타납니다. "SEO"및 "메타 키워드"를 참조하십시오.
결과에 표시되도록 URL을 수동으로 제출하지 않아도됩니다. 최근의 리퍼러를 표시하는 다른 서버로 페이지의 링크를 클릭하면 Google이이를 선택할 수 있습니다. 친구가 트위터에 링크를 게시하면 Google이이를 수령 할 수 있습니다. – ceejayoz
예 웹 크롤러가 URL을 방문하면 페이지의 모든 하이퍼 링크를 확인하고 URL 목록에 추가하여 방문하고 크롤 프런티어를 호출하지만 이러한 하이퍼 링크와 URL에는 잘못된 링크가 있습니다. 악의적 인 링크를 클릭하고 멀웨어 사이트에 착륙하면 가짜 코덱 설치 대화 상자로 승격됩니다. 그렇게해도 사이트가로드되지 않으면 컴퓨터를 감염시키는 수십 가지의 전술이로드됩니다. 가짜 툴바, 겁을 먹는 물건, 불량 소프트웨어 등에서 사이트는 모든 것을 갖추고 있습니다. 한 사이트에서 25 개의 서로 다른 악성 코드 설치를 시도했습니다. 이러한 사이트는 사람들이 스팸 봇, 루트킷, 패스워드 스틸러스 및 기타 트로이 목마 등의 설치에 취약하게 만듭니다.
구매/판매 클릭 스트림 데이터 그렇지 않으면 연결되지 않은 콘텐츠 발견 될 수 있습니다 : http://en.wikipedia.org/wiki/Clickstream
가 robots.txt를 달리 지금까지 그것을 발견하지 않았을 크롤러, 심하게-행동 할 수있는 URL을 표시하지 않을까요? – MarkJ
예, 그렇기 때문에 "중요하지 않은 경우"라고 말한 것입니다. 불량 크롤러는 (일반적으로) 공개 검색 엔진을 제공하지 않으므로 검색 엔진 인덱싱이 주요 관심사 인 경우 robots.txt가 허용되는 접근 방식입니다. – ceejayoz
링크를 게시하는 데는 하나의 불량 크롤러 만 필요하며 "양호한"크롤러는이를 수확 할 수 있습니다! – Arafangion