파이썬 : 서브 프로세스를 사용하여 파일 복사

Question

제가 틀렸을 경우 제발 저를 시정하십시오. 목표 : 다른 프로세스로 생성하여 파일을 복사합니다 (실제 복사는 호출 프로세스를 "잠금"하지 않습니다).

cmd = ['cp', '/Users/username/Pictures/2Gb_ImageFile.tif', '/Volume/HugeNetworkDrive/VerySlow/Network/Connection/Destination.tif'] 

def copyWithSubprocess(cmd):   
    proc = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE) 

copyWithSubprocess(cmd) 

Answer 1

Popen(cmd, stdout=PIPE, stderr=PIPE) 이 부모 프로세스를 "잠금"하지 않습니다 [편집 스레딩에 대한 제거 가짜 조언과 덜 과장으로 제 주장을했다].

cmd은 전체 파이프 버퍼로 인해 충분한 출력을 생성 할 경우 자체적으로 작동을 멈출 수 있습니다. 당신이 하위 프로세스 '출력을 폐기 할 경우 DEVNULL 대신 PIPE의 사용

import os 
from subprocess import Popen, STDOUT 

DEVNULL = open(os.devnull, 'wb') #NOTE: it is already defined in Python 3.3+ 
p = Popen(cmd, stdout=DEVNULL, stderr=STDOUT) 
# ... 

당신이 다음 몇 가지 방법 사용할 수있는 메인 스레드를 차단하지 않고 출력을 처리 할 경우 : IOCP와 fcntl, select, 명명 된 파이프를, threads. 후자는 더 휴대용 방법 :

p = Popen(cmd, stdout=PIPE, stderr=PIPE, bufsize=-1) 
bind(p.stdout, stdout_callback) 
bind(p.stderr, stderr_callback) 
# ... 

곳 bind() 기능 :

import shutil 
from threading import Thread 

Thread(target=shutil.copy, args=['source-file', 'destination']).start() 

:

from contextlib import closing 
from functools import partial 
from threading import Thread 

def bind(pipe, callback, chunksize=8192): 
    def consume(): 
     with closing(pipe): 
      for chunk in iter(partial(pipe.read, chunksize), b''): 
       callback(chunk) 
    t = Thread(target=consume) 
    t.daemon = True 
    t.start() 
    return t 

당신은 메인 스레드를 차단하지 않고 파이썬에서 파일을 복사하는 외부 프로세스가 필요하지 않습니다

파이썬은 I/O 중에 GIL을 릴리즈 할 수 있으므로 복사는 메인 스레드와 동시에 그리고 병렬로 발생합니다.

여러 프로세스를 사용하는 스크립트를 비교할 수 :

import shutil 
from multiprocessing import Process 

Process(target=shutil.copy, args=['source-file', 'destination']).start() 

을 당신이 당신의 프로그램이 다음 사망 True에 thread_or_process.daemon 속성을 설정할 때 복사를 취소하십시오.

Answer 2

파이썬으로 복잡한 비동기 프로세스를 처리하는 가장 쉬운 방법은 같은 작업을 지원하기 위해 특별히 설계와 밀접하게 threading 모듈 (실제로 내가 작성한 코드의 평행 인터페이스를 가지고 있던 multiprocessing 라이브러리를 사용하는 것입니다 이는 하나의 라이브러리 또는 다른 라이브러리를 가져 와서 멀티 스레딩과 멀티 프로세싱 작업 사이를 전환 할 수 있지만 모듈의 어느 부분을 활용했는지에 대해서는 상당히 엄격한 제한이 필요했습니다.

: