scrapy

2열

3답변

방금 Windows 32에서 Scrapy (웹 크롤러)를 다운로드했으며 dos에서 "scrapy-ctl.py startproject dmoz"명령을 사용하여 새 프로젝트 폴더를 만들었습니다. 나는 다음 명령을 사용하여 만든 첫 번째 거미에 진행 : scrapy-ctl.py genspider myspider myspdier-domain.com 을했지만 작

0열

1답변

다른 스크립트에서 스파이더로 문자열을 구문 분석하는 방법

나는 파이썬과 치료에 익숙하지 않다. 은 내가 이 스크립트에서 거미의 '시작 URL을'구문 분석 할 module.But 서브 프로세스를 사용하여 다른 파이썬 스크립트의 scrapy-ctl.py를 실행하고하는 것은 가능 입니다 start_urls을 (구문 분석 itself.Is scrapy-ctl이 실행되는 스크립트에서 결정된) 스파이더? 내가 (

4열

1답변

Scrapy 내가 scrapy 실행하는 간단한 거미를 얻기 위해 노력 해왔다 거미 오류

을 찾을 수 있지만 오류가 계속 할 수 없습니다 : Could not find spider for domain:stackexchange.com 내가 표현 scrapy-ctl.py crawl stackexchange.com으로 코드를 실행. 거미는 다음과 같다 : 다른 사람이 동일한 문제 개월 전 거의 게시하지만 그것을 해결하는 방법을 언급하지 않았다 fro

3열

1답변

우리는 어떻게 파이썬 스크립트 (nltk와 치료법을 사용 하는가)를 자바에서 실행할 수 있습니까

나는 내 프로젝트에서 scrapy, nltk 및 simplejson을 사용하는 파이썬 스크립트를 작성했습니다.하지만 멘토가 그들을 배포하고자하는 자바에서 실행해야합니다. 서버와 나는이 작업을 수행하는 시간이 매우 적다. runtime.exec()에서 자바와 자이 썬을 한눈에 살펴 보았으므로 자바에서 시스템 명령어를 실행하는 것이 단순 해 보이지 않는다고 말

0열

3답변

추가 문자 XPath 및 Python (html)로 추출

나는 html 태그에서 텍스트를 추출하기 위해 XPath를 사용하고 있지만 추가 문자를 첨부해야합니다. 예를 들어 <td> 태그에서 '204'와 같은 숫자를 추출하고 [u'204']을 얻는 중입니다. 어떤 경우에는 그것의 훨씬 더. 예를 들어 "1 - Mathoverflow"를 추출하고 대신 [u'\r\n\t\t 1 \u2013 MathOverflow\r\

5열

4답변

누구도 Scrapy에서 sqlite 파이프 라인에 대한 예제 코드를 가지고 있습니까?

나는 Scrapy에서 SQLite 파이프 라인의 몇 가지 예제 코드를 찾고있다. 나는 아무런 지원도 없다는 것을 알고 있지만, 그것이 끝났다고 확신합니다. 실제 코드 만 도움이 될 수 있습니다. 제한된 작업을 완료하기에 충분한 Python과 Scrapy를 알고 코드를 시작점으로 삼아야합니다. 당신의 트위스트 adbapi 편안하게 느끼는 경우

1열

1답변

전체적으로 웹 사이트를 크롤링하기 위해 Scrapy를 기반으로 한 Python 함수

나는 최근에 매우 효율적이라고 생각하는 Scrapy을 발견했습니다. 그러나, 나는 파이썬으로 작성된 더 큰 프로젝트에 그것을 어떻게 포함시키는지를 정말로 보지 못했습니다. 나는 정상적인 방법으로 거미를 만들 수 있지만, 기능이 주어진 URL에 그것을 실행할 수 있도록하고 싶습니다 주어진 도메인에 크롤링 프로세스를 시작하고 모든 페이지가 된 경우에만 중지 할

0열

4답변

는

도움말과 같은 문자열에서 할 기쁘게 파이썬에서 정규 표현식과 관련하여 도움이 필요하십니까 testsite.com 변경

3열

2답변

포럼을 긁어 모으는 프로그램 작성

포럼을 긁을 수있는 프로그램을 작성해야합니다. Scrapy 프레임 워크를 사용하여 Python으로 프로그램을 작성해야합니까? 아니면 Php cURL을 사용해야합니까? 또한 Scrapy와 동일한 Php가 있습니까? 감사

4열

1답변

치료 - 파이썬 질문

게시 할 올바른 위치가 아닐 수도 있습니다. 그러나, 나는 어떻게해서든지 시험 할 예정이다! 필자가 만든 테스트 파이썬 파싱 스크립트가 두 개 있습니다. 그들은 내가 일하는 것을 테스트하기에 충분합니다. 그러나 저는 최근에 웹 스크래핑에 사용되는 비단뱀 프레임 워크 인 Scrapy를 발견했습니다. 내 응용 프로그램은 여러 서버의 테스트 베드에서 분산 된 프