wget 또는 curl from stdin

Question

stdin에서 URL을 제공하면서 웹 페이지를 다운로드하고 싶습니다. 본질적으로 하나의 프로세스가 stdout/file에 대한 URL을 지속적으로 생성하므로 wget 또는 curl로 파이프 처리하려고합니다. (원하는 경우 간단한 웹 크롤러로 생각하십시오.)

이것은 잘 작동하는 것 같다 :

tail 1.log | wget -i - -O - -q 

을하지만 '꼬리 -f'를 사용하고 더 이상 작동하지 않을 때 (버퍼링 또는 wget과는 EOF을 기다리고 있습니다?) :

tail -f 1.log | wget -i - -O - -q 

누구나 wget, curl 또는 다른 표준 유닉스 도구를 사용하여 솔루션을 제공 할 수 있습니까? 이상적으로 루프에서 wget을 다시 시작하지 않으려 고합니다. URL을 다운로드 할 때 계속 실행하십시오.

Answer 1

xargs를 사용해야합니다. 예 :

tail -f 1.log | xargs -n1 wget -O - -q 

Answer 2

stdin을 인수로 변환하는 xargs을 사용하십시오.

tail 1.log | xargs -L 1 wget 

Answer 3

이 작업은 cURL로 수행 할 수 있지만 입력 내용의 형식을 올바르게 지정해야합니다. 예 alfa.txt :

url example.com 
output example.htm 
url stackoverflow.com 
output stackoverflow.htm 

대체 예 :

url stackoverflow.com/questions 
remote-name 
url stackoverflow.com/documentation 
remote-name 

예 명령 :

cat alfa.txt | curl -K- 

Answer 4

잘합니다 (tail -f이 가져

python -c $'import pycurl;c=pycurl.Curl()\nwhile True: c.setopt(pycurl.URL,raw_input().strip()),c.perform()' 통해 컬 배관하려고하면 아마 커맨드 라인 컬을 의미했다. 그리고 파이썬 한 줄짜리 라이브러리에서 호출하는 것이지만 여전히 똑같은 서버에서 여러 개의 URL을 요청할 경우 서버에 소켓을 유지하는 이점을 취하면서 즉시 각 URL을 가져 오는 것이 좋습니다. 순서대로. 그것은 완전히 강력하지는 않습니다 : 귀하의 URL 중 하나가 더프 경우, 전체 명령이 실패합니다 (적절한 파이썬 스크립트로 만들고 이것을 처리하기 위해 try/except을 추가 할 수 있습니다). 그리고 그것이 던질 작은 세부 사항도 있습니다 EOFError (EOF) (단, tail -f을 사용하는 경우 중요하지 않다고 가정합니다).