AWS 스파크 EMR NumPy와 가져 오기 오류

Question

나는 AWS EMR에 파이썬 스크립트를 제출하기 위해 노력하고있어하지만 난 여기에 대한 답변 중 하나를 사용하여 시도

ImportError: No module named numpy 

를 얻을 : No module named numpy when spark-submitting합니다. 나는

sudo yum install python-numpy python-scipy -y 

를 포함하는 bootstrap_actions.sh 스크립트를 생성하고 내가 클러스터를 만들하지만 여전히 가져 오기 오류가 발생했을 때 스크립트를 실행합니다. 어떻게 가져 오기 numpy 작동하도록 모든 솔루션을?

Answer 1

아마존 EMR의 경우 부트 스트랩 작업을 사용해야합니다. 콘솔에서 설치하면 마스터 노드 만 변경되고 태스크 노드는 변경되지 않습니다.

runners: 
    emr: 
    bootstrap: 
    - sudo yum install -y python27-numpy 

저는 여러분이 파이썬 2.7을 사용한다고 가정합니다. Python 3.x를 사용하고 있다면, 아래 링크는 부트 스트랩에 PIP를 사용하여 설치하는 예제가 있습니다. 나는 또한 당신이 최근의 EMR AMI를 사용하고 있다고 가정하고있다.

EMR Bootstrapping Cookbook