여러 개의 정규 표현식 문자열이 파이썬과 일치합니다.

Question

많은 문자열 정규 표현식을 하나의 긴 문자열과 매치 할 때마다 구분 기호를 매치하려고합니다.

with open('many_regex', 'r') as f: 
    sch = f.readlines() 

with open('big_string', 'r') as f: 
    text = f.read() 

import re 
def search_sch(sch,text = text): 
    delim_index = [] 
    last_found = 0 
    for match in re.finditer(sch, text): 
     count_delims = len(re.findall('##', text[last_found:match.start()])) 
     if delim_index: 
      count_delims += delim_index[-1] 
     delim_index.append(count_delims) 
     last_found = match.end() 
    return delim_index 

from multiprocessing.dummy import Pool 

with Pool(8) as threadpool: 
    matches = threadpool.map(search_sch, sch[:100]) 

threadpool.map 실행할 25S 정도 소요

, 오직 하나의 CPU 코어가 이용되고 : multiprocessing 사용 동시에 한번에 많은 정규식을 검색한다. 더 많은 코어가 사용되지 않는 이유는 무엇입니까? 또한, 모든 파이썬 라이브러리는 이렇게 빨리 할 수 ​​있습니까?

Answer 1

multiprocessing.dummy의 Pool 클래스는 멀티 프로세싱 대신 스레딩을 사용합니다. 이것은 글로벌 인터프리터 잠금이 문제라는 것을 의미합니다. 실제 다중 처리를 사용하고자합니다. 그것을 위해,

from multiprocessing import Pool