파일 압축 해제를위한 파이썬 병렬 처리

Question

파이썬에서 병렬 처리를 처음 사용합니다. 나는 모든 디렉토리를 거쳐 모든 tar.gz 파일의 압축을 풀 수있는 아래 코드를 가지고있다. 그러나, 그것은 꽤 시간이 걸립니다.

import tarfile 
import gzip 
import os 

def unziptar(path): 
    for root, dirs, files in os.walk(path): 
     for i in files: 
      fullpath = os.path.join(root, i) 
      if i.endswith("tar.gz"): 
       print 'extracting... {}'.format(fullpath) 
       tar = tarfile.open(fullpath, 'r:gz') 
       tar.extractall(root) 
       tar.close() 

path = 'C://path_to_folder' 
unziptar(path) 

print 'tar.gz extraction completed' 

나는 다중와 JOBLIB 패키지의 일부 게시물을 통해 찾고있다하지만, 난 여전히 병렬로 실행하는 내 스크립트를 수정하는 방법을 명확 V 아니에요. 어떤 도움을 주셔서 감사합니다.

편집 : @tdelaney는 도움을

덕분에, 놀라운 점은 수정 된 스크립트 (60mins는 원래 스크립트 30 분에 비교) 모든 압축을 풉니 다 두 배의 시간이 걸렸된다!

작업 관리자를 보면 멀티 코어를 사용하는 동안 CPU 사용량이 낮음을 알 수 있습니다. 왜 이렇게되는지 나는 잘 모르겠다.

Answer 1

그것의 꽤 쉬운 일을 할 수있는 풀을 만들 수 있습니다. 추출기를 별도의 작업자로 끌어 내십시오.

import tarfile 
import gzip 
import os 
import multiprcessing as mp 

def unziptar(fullpath): 
    """worker unzips one file""" 
    print 'extracting... {}'.format(fullpath) 
    tar = tarfile.open(fullpath, 'r:gz') 
    tar.extractall(os.path.dirname(fullpath)) 
    tar.close() 

def fanout_unziptar(path): 
    """create pool to extract all""" 
    my_files = [] 
    for root, dirs, files in os.walk(path): 
     for i in files: 
      if i.endswith("tar.gz"): 
       my_files.append(os.path.join(root, i)) 

    pool = mp.Pool(min(mp.cpu_count(), len(my_files))) # number of workers 
    pool.map(unziptar, my_files, chunksize=1) 
    pool.close() 


if __name__=="__main__": 
    path = 'C://path_to_folder' 
    fanout_unziptar(path) 
    print 'tar.gz extraction completed'