0
wget을 사용하여 전체 사이트 "citypaper.com"을 미러링하려고합니다. 처음에는 index.html을 다운로드하고 중지합니다. 그런 다음 해결책을 찾았습니다 : wget -r -p -e robots = off http://www.citypaper.com 이제 index.html에 링크 된 페이지뿐만 아니라 링크 된 페이지도 다운로드됩니다. 문제는 이 페이지에는 더 이상 실제로는없는 수천 개의 페이지가 있습니다. wget이 이러한 페이지를 다운로드 할 수있는 방법이 있습니까?링크되지 않은 사이트에서 페이지를 다운로드하려면 어떻게해야합니까?