파이썬 multiprocessing.Pool & 메모리

Question

나는 채점 절차를 Pool.map을 사용하고

: 데이터 소스에서 배열의 수백만

1. "커서"
2. 계산
3. 데이터 싱크에 결과를 저장

결과는 독립적입니다.

저는 메모리 요구를 피할 수 있는지 궁금합니다. 처음에는 에서 모든 배열은 파이썬으로 들어가고 2와 3은 으로 진행됩니다. 어쨌든 속도 향상이 있습니다.

#data src and sink is in mongodb# 
def scoring(some_arguments): 
     ### some stuff and finally persist ### 
    collection.update({uid:_uid},{'$set':res_profile},upsert=True) 


cursor = tracking.find(timeout=False) 
score_proc_pool = Pool(options.cores)  
#finaly I use a wrapper so I have only the document as input for map 
score_proc_pool.map(scoring_wrapper,cursor,chunksize=10000) 

내가 잘못했거나 더 좋은 방법이이 목적을 위해 파이썬이 있습니까?

Answer 1

의 map 기능은 __len__ 속성이없는 경우 내부적으로 반복 가능 목록을 목록으로 변환합니다. 관련 코드는 Pool.map (및 starmap)에 의해 사용되어 결과를 산출하기 때문에 Pool.map_async에 있으며 이는 또한 목록입니다. 먼저 메모리에 모든 데이터를 읽을 수 없다 경우

, 당신은 그들이에서 와서 결과를 얻을 것입니다 반복자를 생성 할 것이다, Pool.imap 또는 Pool.imap_unordered을 사용해야합니다.