0
저는 Javascript 프로그래밍을 처음 접했고 CasperJS를 사용하여 빌드 된 웹 스크래핑 스크립트 작업을하고 있습니다.CasperJS : 스크립트의 여러 인스턴스를 실행 하시겠습니까?
문제는 상당히 느리지 만 작동한다는 것입니다. 내가 작성한이 스크립트를 시작하는 오버레이 스크립트/프로그램을 만드는 방법을 생각하려고 시도하지만 최선의 방법은 확실치 않습니다. 나는 GNU Parallel 명령을 실험했지만, JS, PHP 또는 Python을 사용하여 무언가를 선호한다. 언어에 익숙하기 때문이다.
CasperJS 인스턴스가 쿠키와 로컬 스토리지를 공유한다는 점도 알고 있지만 사용 사례에서는 문제가되지 않습니다. 이런 종류의 아키텍처와 프레임 워크에 대해 더 많은 경험을 가진 분이라면 도움이 될 것입니다.
감사합니다.
"느리게"를 정의하십시오. 겪고 있다고 생각하는 병목 현상을 설명 할 수 있습니까? ['xargs '를 사용하여 여러 인스턴스를 병렬로 실행할 수 있습니까?] (https://stackoverflow.com/questions/28357997/running-programs-in-parallel-using-xargs)? – tadman
GNU 병렬에 대한 튜토리얼을 1 시간 보셨습니까? gnu.org/software/parallel/parallel_tutorial.html –
@tadman 내가 참조하는 속도가 내가 긁고있는 사이트와 관련이 있습니다. 필요한 모든 작업을 수행하는 데 약 3 분이 걸립니다. 재시작하기 전에 약 60 개를 실행해야한다고 생각하면 동시 작업을 실행하는 이유를 알 수 있습니다. –