model
개체의 동일한 복사본에 model.wv.most_similar_cosmul
을 multiple cores
을 사용하여 batches of input pairs
에 전화하고자합니다.Gensim word2vec/doc2vec 멀티 스레딩 병렬 쿼리
multiprocessing
모듈은 model
의 사본이 여러 개 필요합니다. model
은 RAM이 30GB 이상이므로 너무 많은 RAM이 필요합니다.
내 쿼리 쌍을 평가하려고했습니다. 첫 라운드에는 약 12 시간이 걸렸습니다. 더 많은 라운드가있을 수 있습니다. 그래서 스레딩 솔루션을 찾고 있습니다. 파이썬에 Global Interpreter Lock
문제가 있음을 이해합니다.
제안 사항? 텍스트 벡터 모델은 메모리와 수 있도록 변함 힘 작업에 후 multiprocessing
사용
어떤 운영 체제 : A-동일하지 비슷한하지만 사용의 경우에이 기술을 사용하는 까다로운 부분을 더 논의
에서 내 대답을 참조? '멀티 프로세싱 (multiprocessing) '은 리눅스에서'fork'를 사용하기 때문에 데이터는 공유되고 쓰기 접근시에만 복사되어야합니다. – BlackJack
@BlackJack 이상합니다. 파이썬이 코드 세그먼트에 쓰기 액세스가 필요한지 사전에 어떻게 알 수 있습니까? 나는 그것이 모를 경우 포크 (fork) 시간에 각 자식에 대한 객체를 복사해야한다고 생각했습니다. – Mai
파이썬은 운영체제가 알지 못합니다. 이것은 일반적으로 파이썬 객체 나 파이썬과 관련이 없지만 운영체제 수준의 프로세스와 메모리 페이지와 관련이 있습니다. – BlackJack