EMR : 마스터 인스턴스가 부트 스트랩 작업을 다운로드하지 못했습니다.

Question

설치를 시도하고 있습니다 : 1) Spark가있는 클러스터. 2) Hbase가있는 클러스터.

부트 스트랩 스파크가있는 클러스터를 처음 추가하려고했지만 SSH 키가 잘못되어 새 키로 설치를 다시해야합니다. 그 이후 (두 번째 시도에서) 위의 1과 2를 설치하는 동안 모든 시도에서 동일한 오류가 발생합니다. AWS CLI에서 https://aws.amazon.com/articles/ElasticMapReduce/4926593393724923

내 명령 : 나는의 지침에 따라 오전

AWS EMR 만들 클러스터 --name GCSpark --ami 버전 3.2 --instance 형 m3.xlarge --instance- 계산 3 --ec2 - 속성 키 이름 = 된 KeyPair - 응용 프로그램 이름 = 하이브 --bootstrap - 행동 경로 = S3 : //support.elasticmapreduce/spark/install-spark

Output from stderr.txt: + python install-spark-script BA 14/10/31 22:00:45 INFO guice.EmrFSBaseModule: Consistency disabled, using com.amazon.ws.emr.hadoop.fs.s3n.S3NativeFileSystem as FileSystem implementation. 14/10/31 22:00:46 INFO fs.EmrFileSystem: Using com.amazon.ws.emr.hadoop.fs.s3n.S3NativeFileSystem as filesystem implementation 14/10/31 22:00:47 INFO s3n.S3NativeFileSystem: Opening 's3://support.elasticmapreduce/spark/1.1.0/scala-2.10.3.tgz' for reading 14/10/31 22:01:06 INFO guice.EmrFSBaseModule: Consistency disabled, using com.amazon.ws.emr.hadoop.fs.s3n.S3NativeFileSystem as FileSystem implementation. 14/10/31 22:01:07 INFO fs.EmrFileSystem: Using com.amazon.ws.emr.hadoop.fs.s3n.S3NativeFileSystem as filesystem implementation 14/10/31 22:01:08 INFO s3n.S3NativeFileSystem: Opening 's3://support.elasticmapreduce/spark/1.1.0/spark-1.1.0.e.tgz' for reading /bin/cp: cannot stat /usr/share/aws/emr/emr-fs/lib/: No such file or directory Traceback (most recent call last): File "install-spark-script", line 120, in prepare_classpath() File "install-spark-script", line 52, in prepare_classpath subprocess.check_call() File "/usr/lib64/python2.6/subprocess.py", line 505, in check_call raise CalledProcessError(retcode, cmd) subprocess.CalledProcessError: Command '' returned non-zero exit status 1*

어떤 도움을 주시면 감사하겠습니다.

감사합니다.

Answer 1

설치 오류가 일시적으로 발생하여 이후 버전 (1.1.0.f)으로 수정되었습니다.

변경 사항 및 메모의 추가 정보는 https://github.com/awslabs/emr-bootstrap-actions/tree/master/spark입니다.