파이썬에서리스트에 병렬 쓰기

Question

파이썬에서 하나의리스트에 여러 개의 병렬 프로세스를 작성했습니다. 내 코드입니다 : 그것은이 같은

global_list = [] 
class MyThread(threading.Thread): 
    ... 
    def run(self): 
    results = self.calculate_results() 

    global_list.extend(results) 


def total_results(): 
    for param in params: 
     t = MyThread(param) 
     t.start() 
    while threading.active_count() > 1: 
     pass 
    return total_results 

나는이 aproach을 좋아하지 않는다 :

1. 전반적인 글로벌 변수 -> 무엇`TOTAL_RESULTS 함수에 대한 지역 변수를 가지고 할 수있는 방법이 있을까요?
2. 목록이 반환 될 때 확인하는 방법은 다소 서투른 것처럼 보이지만 표준 방법은 무엇입니까?

Answer 1

1 - 결과를 추가 할 모든 노동자의 인스턴스간에 공유 클래스 변수를 사용

class Worker(threading.Thread): 
    results = [] 
    ... 

    def run(self): 
     results = self.calculate_results() 
     Worker.results.extend(results) # extending a list is thread safe 

2 - 사용에 가입() 모든 스레드가 완료 전까지 기다려야하고 약간의 계산 시간을 가질 수 있도록

def total_results(params): 
    # create all workers 
    workers = [Worker(p) for p in params] 

    # start all workers 
    [w.start() for w in workers] 

    # wait for all of them to finish 
    [w.join() for w in workers] 

    #get the result 
    return Worker.results 

Answer 2

계산에 CPU가 집중적입니까? 그렇다면 Python에 포함 된 다중 처리 모듈을 살펴보고 사용법이 매우 간편한 Pool 클래스를 제공합니다.이 클래스에 계산 작업을 제공하고 나중에 모든 결과를 얻을 수 있습니다. CPU 시간이 많이 필요하다면 어쨌든 더 빨라질 것입니다. 파이썬이 모든 것을 제대로 처리하지 못하기 때문에 한 프로세스에서 한 번에 하나의 인터프리터 스레드 만 실행할 수 있기 때문입니다. 다중 처리 (Multiprocessing)는 그것을 회피합니다 (그리고 당신의 일을 더 쉽게 해주는 Pool 추상화를 제공합니다). 아, 그리고 정말로 쓰레드를 고수하고 싶다면 멀티 프로세싱은 ThreadPool을 가지고 있습니다.