scrapy-splash

0열

1답변

scrapy.FormRequest.from_response VS. SplashFormRequest.from_response

나는 치료와 똑같은 방식으로 치료 스플래시를 사용하여 로그인하려고합니다. 설명서, Doc을 보았습니다. "SplashFormRequest.from_response도 지원되며, 치료 문서에 설명 된대로 작동합니다" 그러나 스플래시 설명서에 설명 된대로 한 줄의 코드를 변경하고 설정을 변경하면 아무 것도 가져 오지 않습니다 결과. 내가 뭘 잘못하고있어? 코드

0열

2답변

프록시를 사용할 때 스플래시가 Javascript를 실행하지 않습니다.

scrapy_splash를 사용하여 적절한 콘텐츠를 검색하기 위해 js가 필요한 페이지를 크롤링하고 있습니다. 프록시 설정없이 SplashRequest를 사용하면 모든 것이 잘되지만 프록시 설정을 적용하면 javascript가 렌더링되지 않아 필요한 데이터가없는 prejavascript html 콘텐츠가 제공됩니다. 누구든지 해결 방법을 알고 있습니까? 프

3열

1답변

scrapy-splash는 무한 스크롤을 어떻게 처리합니까?

웹 페이지에서 아래로 스크롤하여 생성 된 내용을 리버스 엔지니어링하려고합니다. 문제는 URL https://www.crowdfunder.com/user/following_page/80159?user_id=80159&limit=0&per_page=20&screwrand=933에 있습니다. screwrand은 어떤 패턴도 따르지 않으므로 URL이 바뀌지 않습니

0열

1답변

동적 로딩 이미지 크롤링

나는 웹 사이트 리뷰를 긁어 내려고하고 있습니다. 웹 사이트의 대부분의 이미지가 동적으로로드되기 때문에 Splash javascript 렌더링 서비스를 사용하여 페이지를 생성합니다. 일부 이미지는로드되고 일부는로드되지 않는 것이 문제입니다. 여기 내가 크롤링 할 리뷰의 URL입니다 : 내가 스플래쉬 10 초 (최대)에 대기 시간을 설정하기 위해 노력했다 h

0열

1답변

javascript가 여러 요청을 할 때 Scrapy + Splash에서 쿠키를 설정하는 방법은 무엇입니까?

자바 스크립트가로드되면 쿠키가 응답에 설정되어야하는 또 다른 아약스 요청을합니다. 그러나 Splash는 여러 요청에 걸쳐 쿠키를 보관하지 않습니다. 모든 요청에 대해 쿠키를 유지할 수있는 방법이 있습니까? 또는 각 요청간에 수동으로 할당 할 수도 있습니다.

1열

1답변

scrapy - 시작은 CrawlerSpider

에 반복적으로 크롤링하지 않습니다 나는 다음과 같은 규칙에 내 CrawlerSpider의 process_request에 scrapy-시작을 통합 한 : def process_request(self,request): request.meta['splash']={ 'args': { # set rendering arguments h

1열

1답변

스플래시 요청에서 쿠키 읽기

스플래시를 사용하여 요청한 후에 쿠키에 액세스하려고합니다. 다음은 요청을 작성한 방법입니다. script = """ function main(splash) splash:init_cookies(splash.args.cookies) assert(splash:go{ splash.args.url, headers=splash.a

0열

1답변

스플래시 브라우저 (Scrapy/Python)에 대한 Geolocation 설정

웹 사이트로 이동하면 위치 정보 집합이 설정되어 있지 않으면 페이지가로드되지 않으므로 내 위치가 인식되도록 브라우저의 geolocation을 설정하려고합니다. . 누구든지 스플래시 치료에서 어떻게 설정해야하는지 알고 있습니까? 나는 온라인에서 주위를 둘러 보았으나 아무도 이것을 전에 묻지는 않았다. 감사

1열

1답변

스플래시로 치료법을 사용하여 LinkedIn을 긁을 때 502 오류가 발생했습니다

스플래시가있는 스 캐플링을 사용하여 Netflix의 Linkedin 회사 페이지를 스크랩하려고했습니다. scrap shell을 사용할 때 완벽하게 작동하지만 스크립트를 실행할 때 502 오류가 발생합니다. 오류 : 스플래쉬 터미널에서 2017-01-06 16:06:45 [scrapy.core.engine] INFO: Spider opened 2017-01

0열

1답변

Windows에서 스크래핑 허브 스플래시 설치 cmd

나는 scrapy/splash를 처음 사용합니다. 지침에 따라 here 치료 스플래시를 성공적으로 설치했습니다. 두 번째 요구 사항은 스플래시 자체입니다. 나는 도커가없고 splash documentation에는 도커가없는 창을위한 스플래시 설치 방법에 대한 지침이 없습니다. 누군가 제발 도와 줄 수 있니? 이 내가 사전에 C:\splash>C:\Pytho