Python - 다중 처리 및 공유 메모리

Question

Deap 프레임 워크를 사용하여 유전 알고리즘을 구현 중입니다. 알고리즘이 작동하지만 GA의 다중 프로세스 버전이 2GB의 단일 프로세스에 비해 9GB의 메모리를 사용하고 각 프로세스에 메모리를 할당했기 때문에 의심 스럽습니다. 실제로지도가 실행되는 즉시 사용 된 메모리가 증가합니다. 프로세스간에 공유되는 데이터는 읽기 전용으로 사용되므로 모두 동일한 메모리에 액세스 할 수 있습니다.

이것은 내 코드의 구조입니다.

def evaluate(individual, dataset=None): 

    penalty = dataset.compute(individual) 

    return penalty 


def initialize(): 
    dataset = dataset(file1, file2) 

    pool = multiprocessing.Pool() 
    toolbox.register("map", pool.map) 

    toolbox.register("evaluate", evaluate, dataset=dataset) 

    return toolbox, dataset 


def main(): 
    toolbox, dataset = initialize() 

    dataset.data = some_training_set 

    fitnesses = toolbox.map(toolbox.evaluate, population) 

    dataset.data = some_validation_set 

    fitnesses = toolbox.map(toolbox.evaluate, population) 

그렇다면 데이터 세트 (팬더를 사용하여 읽음)와 사전이 포함 된 클래스가 있습니다.

class Dataset: 

    def __init__(self, file1, file2): 
     self.data = read(file1) 
     self.dict = loadpickle(file2) 

    def compute(self, individual): 
     for row in self.data 
      # some stuff reading row and self.dict 

메모리를 공유하는 가장 쉬운 방법은 무엇입니까? self.data 및 self.dict에 대한 전역 변수를 사용하려고 시도했지만 아무 것도하지 않았습니다.

Answer 1

다중 처리 모듈은 스레드 모델이 아닌 다중 프로세스 모델을 사용하므로 각 프로세스는 공유 메모리를 사용하지 않고 메모리를 공유 할 수 없습니다 IPC 호출). Deap 프레임 워크는 메모리 공유에 필요한 경우 스레드를 사용하기 위해 두 번째로 재 설계해야합니다.