내 사이트 파일 확인 사이트

Question

특정 웹 사이트를 크롤링하고 다른 웹 사이트에 대한 참조가있는 경우 침을 뱉을 프로그램이 있습니까? 나는 이미지, 비디오 파일, pdf 등을 가지고있다. 새로운 서버로 포트를 마치려면 다른 개발자에게 줄 필요가 있습니다.

방금 ​​이전 사이트를 다른 사람에게 전송했지만 여전히 내 파일을 사용하고 있습니다. 나는 모든 파일이 100 %라는 것을 모르고 있으며, 나는 그들에게 줄 필요가있는 파일이 무엇인지 확신하고 싶다. 크롤링 할 수있는 링크 체크러와 같은 것이 있으면 좋겠지 만 웹 사이트 루트 (예 : sub.domain.com)에 대한 참조가있는 경우 URL에 대한 정보 (페이지는 무엇이고 URL은 무엇입니까?)가 나옵니다.

나는이 시점에서 파일을 사용하지 못하도록 사이트를 차단하고 싶지 않습니다.

나는 Mac에있어 모든 터미널 프로그램이 좋을 것입니다.

Answer 1

wget을 확인할 수 있습니다. 재귀 적으로 (-r 옵션) 웹 사이트를 다운로드하고 하드 디스크에 내용을 저장할 수 있습니다. 일반적으로 (달리 지정하지 않으면) 모든 것을 호스트와 같은 디렉토리에 다운로드합니다.

하지만 전체 인터넷을 재귀 적으로 다운로드하지 않도록주의하십시오. 올바른 --domains 또는 --exclude-domains 옵션을 지정해야합니다.

Answer 2

당신은 사이트에 사용 된 모든 파일을 다운로드 할 수 있습니다 Sitesucker을 시도 할 수 있었다 (그리고 그것은 설정에 따라에 링크). OSX (및 iPhone) 기증 도구이므로 찾고있는 것일 수도 있습니다. 나는 그렇게 당신은 당신이 당신의 동료 대신 실제 파일에 URL의를 보내려면 있음을 보낼 수 있습니다 다운로드합니다 파일의 로그 파일을 만듭니다 생각합니다.