파이썬 멀티 프로세싱을 사용하는 작업 목록 목록

Question

100 개의 쿼리를 병렬로 실행해야하지만 리소스가 충분하지 않아 20 개의 하위 목록이있는 목록을 만들었고 각 하위 목록에는 5 개의 프로세스가 포함되어 있습니다.

이제 작업 목록을 연속적으로 실행하고 싶습니다. 좀 더 설명 : 처음 다섯 개 개의 쿼리가 완료되면, 두 번째 다섯이 시작됩니다 등등 ...

I했던이 :

jobs_list = [] 
for sublist in list_all: 
    jobs = [] 
    for cd in sublist: 
     process = multiprocessing.Process(target=calc_zio, args=(cd,)) 
     jobs.append(process) 
    jobs_list.append(jobs) 

for l in jobs_list: 
    for j in l: 
     j.start() 

for l in jobs_list: 
    for j in l: 
     j.join() 

하지만 CPU

의 100 % 실행중인

내가 틀렸어?

감사합니다.

Answer 1

다음 시작하기 전에 하위 목록에 가입해야합니다.