파이썬 웹 스크랩에서 돌연변이 처리가 작동하지 않음

Question

beautifulsoup를 사용하여 웹 스크래핑을 수행하고 구문 분석 된 데이터를 CSV 파일에 성공적으로 저장했지만 다중 처리를 사용하기 위해 프로세스의 속도를 높이고 싶습니다. 그러나 스크립트에서 다중 처리를 적용한 후에는 아무런 차이가 없습니다. 여기

rootPath = '....' 
urlp1 = "https://www.proteinatlas.org/" 

try: 
    df1 = pd.read_csv(rootPath + "cancer_list1_2(1).csv", header=0); 
except Exception as e: 
    print("File " + f + " doesn't exist") 
    print(str(e)) 
    sys.exit() 

cancer_list = df1.as_matrix().tolist() 
# [["bcla_gene","beast+cancer"], ...] 

URLs = [] 
for cancer in cancer_list: 

    urlp2 = "/pathology/tissue/" + cancer[1] 
    f = cancer[0] 

    try: 
     df1 = pd.read_csv(rootPath + f + ".csv", header=0); 
    except Exception as e: 
     print("File " + f + " doesn't exist") 
     print(str(e)) 
     sys.exit() 
    ... # list of urls 

def scrap(url,output_path): 
    page = urlopen(URL) 
    soup = BeautifulSoup(page, 'html.parser') 
    item_text = soup.select('#scatter6001 script')[0].text 
    table = soup.find_all('table',{'class':'noborder dark'}) 
    df1 = pd.read_html(str(table),header = 0) 
    df1 = pd.DataFrame(df1[0]) 
    Number = soup.find('th',text = "Number of samples").find_next_sibling("td").text 


... 
#function of scraping 



if __name__ == "__main__": 

    Parallel(n_jobs=-1)(scrap(url,output_path) for url in URLs) 

그냥 코드를 업데이트 내 코드와 문제는 이제 CPU 사용률은 처음에 100 %에 도달 할 수 있지만, 곧 1 %로 떨어질 것입니다. 나는 그것에 대해 아주 혼란스러워합니다.

Answer 1

코드에 아무런 세부 정보가없는 경우 : joblib 모듈을 사용하면 도움이 될 수 있습니다.

의사 코드 :

import joblib 

if __name__ == "__main__": 
     URLs = ["URL1", "URL2", "URL2", ...] 
     Parallel(n_jobs=-1)(scrap(url,output_path) for url in URLs) 

어떤 코드가 어떤 def: 및 if __name__ == "__main__": -branch 외부에서 실행하지 않는 경우 JOBLIB 만 작동하기 때문에 코드를 리팩토링하는 것이 필요할 수있다.

n_jobs=-1은 시스템의 코어 수와 동일한 수의 프로세스를 시작합니다. 자세한 내용은 joblib의 documentation을 참조하십시오.

셀렌/geckodriver와 함께이 방법을 사용하면 컴퓨터에 따라 1 시간 미만 만에 10k 개의 URL 풀을 다룰 수 있습니다 (일반적으로 64GB RAM이있는 octacore 시스템에서 40-50 프로세스를 엽니 다).