multiprocessing

0열

1답변

Python에서 멀티 프로세싱을 사용하여 Scrapy를 사용하여 수백만 개의 URL을 크롤링하는 방법?

3 단계 재귀를 구현하여 URL의 시드 목록을 생성 한 다음 각 URL에서 정보를 스크랩했습니다. 내 시스템의 모든 코어를 활용하여 크롤링 속도를 높이려면 multiprocessing을 사용하고 싶습니다. 지금까지 구현 한 크롤러 코드는 다음과 같습니다. # -*- coding: utf-8 -*- import scrapy from scrapy.selec

python python-3.x web-scraping scrapy multiprocessing 2017-11-23

---

0열

1답변

Python에서 다중 처리를 사용하여 Azure에서 Blob을 다운로드하십시오.

Python에서 멀티 프로세싱을 사용하여 Azure 저장소에서 Blob을 다운로드하는 방법을 알고있는 사람이 있습니까? 아래 코드는 나에게이 오류 준다 : "형식 오류는 '물방울'객체가 반복 가능한 있지 않습니다" 어떻게 해결 하는가? 코드 : def downloadBlobs(generator): for Blob in generator:

python azure multiprocessing azure-storage-blobs blobs 2017-11-24

---

1열

1답변

파이썬 멀티 프로세싱 쿼리

파이썬의 다중 처리 모듈에 대해 배우고 있습니다. 내 코드가 모든 CPU 리소스를 사용하도록하고 싶습니다. from multiprocessing import Process import time def work(): for i in range(1000): x=5 y=10 z=x+y if __name__ ==

python python-3.x multiprocessing 2017-11-24

---

1열

2답변

중첩 된 for-loops에 대한 최대 CPU 사용을 만드는 가장 쉬운 방법은 무엇입니까?

고유 한 요소 조합을 만드는 코드가 있습니다. 6 가지 유형이 있으며 각각 약 100 가지가 있습니다. 그래서 100^6 조합이 있습니다. 각 조합을 계산하고 관련성을 검사 한 다음 폐기하거나 저장해야합니다. 코드의 관련 비트는 다음과 같습니다이 def modconffactory(): for transmitter in totaltransmitterdict

python multithreading optimization multiprocessing nested-loops 2017-11-25

---

0열

1답변

BaseManager가 로깅을 중지하는 이유는 무엇입니까?

BaseManager를 사용하여 대기열을 공유하고 있습니다. 로깅을위한 queuelistener. 이것은 Linux에서 잘 작동하지만 다음 코드에서는 "getting server"메시지가 표시되지만 "got server"로깅 메시지가 나타나지 않습니다. 그 사이의 유일한 행은 BaseManager.get_server()에 대한 호출입니다. 왜? 그것을 고칠

python logging queue multiprocessing 2017-11-27

---

0열

1답변

SystemError : NULL result 다중 처리 Python

기계 학습자를 양성하기 위해 다중 처리 풀을 사용하고 있습니다. 각 LearnerRun 객체는 학습자, 하이퍼 매개 변수 사전, 이름, 다른 옵션 사전의 몇 가지 옵션, 결과를 작성할 디렉토리 이름, 훈련 할 예제 세트 ID (슬라이스 또는 numpy 배열) 및 테스트 할 예제 ID 집합 (슬라이스 또는 numpy 배열)이 포함됩니다. 중요하게도, 훈련 및

python multiprocessing system-error pyobject 2017-11-27

---

2열

1답변

파이썬 다중 처리 - 속도 개선을 위해 작업량을 어떻게 분할 할 수 있습니까?

나는 이미지를 자르고 저장하는 간단한 코드를 작성 중이다. 그러나 문제는 이미지의 수가 약 150,000 이상이며 속도를 향상시키고 싶다는 것입니다. 그래서 처음에 나는 다음과 같이 루프에 대한 간단한으로 코드를 작성 : import cv2 import numpy import sys textfile=sys.argv[1] file_list=open(

python multiprocessing python-multiprocessing opencv3.0 2017-11-28

---

1열

1답변

SIGTERM 대신 SIGKILL로 멀티 프로세싱 풀을 죽여라. (나는 생각한다.)

그래서 다중 셀 브라우징 윈도우로 멀티 프로세싱을 이용하는이 프로그램을 가지고있다. pool = Pool(5) results = pool.map_async(worker,range(10)) time.sleep(10) pool.terminate() 그러나이 완료 풀에서 기존의 공정을 기다립니다 : 는 다음과 같은 프로그램이 어떻게 표시되는지를 보여줍니

python selenium unix multiprocessing 2017-11-29

---

0열

1답변

인스턴스 목록의 메서드 실행

인스턴스 목록의 메서드를 실행하려고했지만 순차적으로 실행하는 것 외에는 방법을 알지 못합니다. 내가 mylist[i].method(a,b)을하고 싶은 목록 mylist에 class myclass(object): def __init__(xxx): ... def method(a, b): do something using

python multithreading list multiprocessing 2017-11-30

---

2열

1답변

파이썬에서 다른 반환 값을 사용하여 여러 함수를 실행하는 방법

여러 분류자를 훈련시키는 여러 함수가 있으며 각 함수는 관련 출력 매개 변수를 반환합니다. 각각의 실행 시간은 약간 길기 때문에 multiprocessing을 이용하고 싶습니다. 예를 들어 : p1 실행 내가 target에 training을 변경하고 : LINK이 내가 그 오타 오류를 생각 : 이제 test_mthd = 'complete' row_num

python multiprocessing 2017-12-02

---