이 중첩 루프를 파이썬에서 병렬 처리하는 방법

Question

코드 성능을 향상시키고 자 노력 중이며 다중 처리 모듈을 구현하는 방법을 알지 못합니다. 나는 모든 파일의 메타 데이터를 저장해야

def start_fetching(directory): 
    with open("test.txt", "a") as myfile: 
     try: 
      for dirpath, dirnames, filenames in os.walk(directory): 
       for current_file in filenames: 
        current_file = dirpath + "/" + current_file 
        myfile.write(current_file) 
      return 0 
     except: 
      return sys.exc_info()[0] 

if __name__ == "__main__": 
    cwd = "/home/" 
    final_status = start_fetching(cwd) 
    exit(final_status) 

을 :

나는 리눅스 (CentOS는 7.2)과 파이썬 2.7

내가 병렬 환경에서 실행하는 데 필요한 코드를 사용하고 (여기서 파일 이름 만 표시됨)을 데이터베이스에 저장합니다. 여기서는 파일 이름 만 텍스트 파일에 저장합니다.

Answer 1

이 스크립트의 처리 시간을 거의 절반으로 줄이는 데 도움을 주셔서 감사합니다.

1. 가 @KeerthanaPrabhakaran 언급 this 링크를 사용하여 다음을 위해 내가 바란 무엇을 달성하기 위해 두 가지 방법을 발견

   (나는 의견이 많은 콘텐츠를 추가 할 수있는 대답으로이 추가입니다) 이것은 멀티 스레딩과 관련이 있습니다.

   def worker(filename): 
       subprocess_out = subprocess.Popen(["stat", "-c", 
              "INSERT INTO file VALUES (NULL, \"%n\", '%F', %s, %u, %g, datetime(%X, 'unixepoch', 'localtime'), datetime(%Y, 'unixepoch', 'localtime'), datetime(%Z, 'unixepoch', 'localtime'));", filename], stdout=subprocess.PIPE) 
       return subprocess_out.communicate()[0] 
   
   def start_fetching(directory, threads): 
       filename = fetch_filename() + ".txt" 
       with contextlib.closing(multiprocessing.Pool(threads)) as pool: # pool of threads processes 
        with open(filename, "a") as myfile: 
         walk = os.walk(directory) 
         fn_gen = itertools.chain.from_iterable((os.path.join(root, file) for file in files) for root, dirs, files in walk) 
   
         results_of_work = pool.map(worker, fn_gen) # this does the parallel processing 
         print "Concatenating the result into the text file" 
         for result in results_of_work: 
          myfile.write(str(result)) 
       return filename 
   

   이

   는 0m15.154s에서 15203 개 파일을 통과한다.

2. 두 번째는, @ArunKumar가 언급 한, 멀티에 관련이 :

   def task(filename, process_no, return_dict): 
       subprocess_out = subprocess.Popen(["stat", "-c", 
              "INSERT INTO file VALUES (NULL, \"%n\", '%F', %s, %u, %g, datetime(%X, 'unixepoch', 'localtime'), datetime(%Y, 'unixepoch', 'localtime'), datetime(%Z, 'unixepoch', 'localtime'));", 
              filename], stdout=subprocess.PIPE) 
       return_dict[process_no] = subprocess_out.communicate()[0] 
   
   
   def start_fetching_1(directory): 
       try: 
        processes = [] 
        i = 0 
        manager = multiprocessing.Manager() 
        return_dict = manager.dict() 
   
        for dirpath, dirnames, filenames in os.walk(directory): 
         for current_file in filenames: 
          current_file = dirpath + "/" + current_file 
          # Create Seperate process and do what you want, becausee Multi-threading wont help in parallezing 
          p = multiprocessing.Process(target=task, args=(current_file, i, return_dict)) 
          i += 1 
          p.start() 
          processes.append(p) 
   
        # Let all the child processes finish and do some post processing if needed. 
        for process in processes: 
         process.join() 
   
        with open("test.txt", "a") as myfile: 
         myfile.write(return_dict.values()) 
   
        return 0 
       except: 
        return sys.exc_info()[0] 
   

   이것은 1m12.197s

나는 돈에 15,203 파일을 통과한다 왜 다중 처리가 많은 시간을 필요로하는지 이해하지 못한다. (나의 초기 코드는 0m27.884s를 취하고있다. nly), 거의 100 % CPU를 사용합니다.

위의 코드는 내가 더 위의 코드를 최적화하기 위해 노력하고

(나는 데이터베이스 항목을 만들려면 다음 TEST.TXT 파일을 사용하여 파일에이 정보를 저장하고보다하고), 내가 실행하고 정확한 코드입니다 @CongMa가 언급했듯이 I/O 병목 현상이 발생할 수 있습니다.

Answer 2

큰 작업을 병렬 처리하고 싶습니다. 당신이주는 것은 파일에있는 파일명 일뿐입니다. 모든 스레드 출력마다 별도의 파일을 만들었으므로 나중에 모든 파일을 결합 할 수 있습니다. 이것을 달성하는 다른 방법이 있습니다.

주요 문제가 병렬 처리하는 경우 아래 해결책이 될 수 있습니다.

파이썬은 멀티 스레딩과 멀티 프로세싱을 지원합니다. 멀티 스레딩은 진정으로 병렬 처리가 아니며 IO 블록의 경우 병렬 처리가 가능합니다. 코드를 병렬로 사용하려면 다중 처리 [https://docs.python.org/2/library/multiprocessing.html]]을 사용하십시오. 코드는 아래와 같이 보일 수 있습니다.

from multiprocessing import Process 

def task(filename): 
    with open(filename+"test.txt", "a") as myfile: 
     myfile.write(filename) 

def start_fetching(directory): 
    try: 
     processes = [] 
     for dirpath, dirnames, filenames in os.walk(directory): 
      for current_file in filenames: 
       current_file = dirpath + "/" + current_file 
       # Create Seperate process and do what you want, becausee Multi-threading wont help in parallezing 
       p = Process(target=f, args=(current_file,)) 
       p.start() 
       processes.append(p) 

     # Let all the child processes finish and do some post processing if needed. 
     for process in processes: 
      process.join() 

     return 0 
    except: 
     return sys.exc_info()[0] 

if __name__ == "__main__": 
    cwd = "/home/" 
    final_status = start_fetching(cwd) 
    exit(final_status)