cython 및 gensim을 pyspark와 함께 사용하는 방법

Question

gcc이 설치된 Lubuntu 16.04 시스템을 실행 중입니다. 내가 doc2vec model을 훈련 할 때, 그것은 오직 한 번에 두려운 속도로 느린 훈련을 받기 때문에 gensim이 cython과 작동하지 않습니다.

내가 말한대로 gcc이 처음부터 설치되었습니다. 나는 실수를해서 gensim을 cython 앞에 설치했습니다. 나는 pip을 통해 gensim의 재설치를 강제함으로써 그것을 바로 잡았다. 여전히 영향을 미치지 않는 한 명.

기계는 spark 마스터로 설정되고 I 인터페이스는 spark을 통해 pyspark으로 설정됩니다. 이런 식으로 작동합니다. pyspark은 jupyter이고 jupyter은 python 3.5를 사용합니다. 이렇게하면 클러스터에 jupyter 인터페이스가 생깁니다. 지금 이것이 왜 내가 gensim을 cython과 함께 작동시키지 않는지 알 수 없습니다. 클러스터에서 gensim 코드를 실행하지 않으면 jupyter을 실행하여 gensim을 실행하는 것이 더 편리합니다.

Answer 1

다른 환경에서 gensim을 실행하는 메모리에 전체 코퍼스를로드하는 것과 같은 효과를 더 깊게 파고 들자. gensim에서 코드가 부분 병렬 처리 만하는 것이 문제인 것처럼 보입니다. 그 결과 작업자가 CPU를 완전히 활용할 수 없게됩니다. github link의 문제를 참조하십시오.

Answer 2

아마도이 작업을 수행했을 것입니다. 그러나 병렬 Cythonised 버전을 assert gensim.models.doc2vec.FAST_VERSION > -1으로 사용하고 있는지 확인하십시오.

gensim doc2vec 코드는 병렬 처리되지만 불행히도 Gensim 외부에있는 I/O 코드는 병렬 처리되지 않습니다. 예를 들어, github issue에서 링크 병렬화는 실제로 corpus가 RAM에로드 된 후에 이루어집니다. doclist = [doc for doc in documents]