amazon-emr

0열

1답변

EMR 5.x의 pyspark 셸/pyspark 스크립트에서 "s3-dist-cp"명령을 실행하는 방법 일부 데이터 이동이 필요할 때

내 pyspark 스크립트에서 s3-dist-cp 명령을 실행하는 데 문제가있었습니다. . 그래서 여기에 성능 향상을위한 HDFS에 S3에서 나는이 공유하고

2열

1답변

Amazon EMR에서 Spark를 사용할 때 드라이버 메모리 및 실행자 메모리 크기가 어떻게됩니까?

Spark 2.0.2를 사용하여 Spark 응용 프로그램을 실행하기 위해 10 개의 노드가있는 AWS EMR 5.2 인스턴스 m4.2x 대형을 사용하고있었습니다. 나는 maximizeResourceAllocation=true의 재산을 사용했다. 나는 다음과 같은 속성을 본 곳 불꽃은 defaults.conf에서 본 : .I 만 이해 spark.executo

0열

1답변

사용자 지정 하이브 사이트로 Amazon EMR 클러스터를 스핀 업할 수 없습니다.

저는이 튜토리얼의 지침에 따라 클러스터를 회전하려고합니다. http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-dev-create-metastore-outside.html 이 작동하지 않습니다 그것은 오류 "부트 스트랩 실패"와 함께 실패합니다. 그러나 어떤 로그에도 오류가 표시되지 않습니다. 내가 디버깅하는

0열

1답변

mrjob은 Amazon EMR 5.x에서는 작동하지 않지만 EMR4.8.3에서는 실행됩니다.

Amazon EMR에서 mrjob을 사용하고 있습니다. EMR 4.8.3에서 결함없이 작동하지만 EMR 5.x (그 중 하나)에서 실행할 때, 뭔가가 API를 스트리밍하는 hadoop에 가담하며 많은 오류가 발생합니다. #!/usr/bin/python2.7 from mrjob.job import MRJob import re WORD_RE = re.c

0열

2답변

Amazon EMR에서 Spark job이 NullPointerException을 발생시킵니다

목표 : [S3에서 읽은] 파루 파일에서 쿼리를 실행 한 다음 다른 S3 버킷의 단일 탭 구분 텍스트 파일로 쓰려고합니다. 이 모든 것은 아마존의 EMR 클러스터에서 실행되는 스파크 앱에서 수행됩니다. 다른 유사한 질문을 StackOverflow에서 읽었지만 아무 소용이 없습니다. //Read parquet file final Dataset<Row> df

1열

1답변

EMR에서 발동하기 위해 암호를 전달하는 방법

Amazon EMR에서 실행되는 스파크 클러스터가 postgresql 데이터베이스에 액세스해야한다고 가정 해보십시오. 로그인 및 암호를 부여하는 가장 좋은 방법은 무엇입니까? 사람들은 우리가 시도하는 몇 가지 방법은 다음과 같습니다 는 정보와 S3에 구성 파일이 (좋지 않은 암호가 S3에 일반 텍스트이기 때문에) 가 스파크 ENV의 일환으로 환경 변수로 전

0열

1답변

AWS EMR 클러스터에서 리소스를 확보하는 방법은 무엇입니까?

AWS EMR 클러스터를 시작하고 SSH를 통해 로그인 한 다음 spark-shell을 실행하여 일부 스파크 코드를 테스트하고 가끔씩 인터넷 연결이 끊어지면서 퍼티가 연결이 끊어진 오류를 throw하는 일반적인 문제가 있습니다. 하지만 스파크 관련 프로세스가 아직 실행중인 것으로 보입니다. 내가 서버에 다시 연결하고 다시 spark-shell을 실행하면,

0열

1답변

AWS :: EMR :: Cluster CloudFormation 템플릿에서 Ec2 인스턴스 속성을 지정하는 방법은 무엇입니까?

AWS에 매우 익숙하며 EMR을보고 새로운 방향과 정보를 원합니다. AWS:EMR:Cluster을 사용하여 EMR에 대한 클라우드 포메이션 템플리트를 만들고 싶지만 Security Groups 및 EC2 Instance profile과 같은 EC2 속성을 지정하는 방법이 없습니다. 여기 자원에서 찾고 : 이것은 cloudforatemplate에서이 작업을

2열

1답변

CloudFormation 템플릿에서 Amazon EMR의 보안 구성 지정

EMR 클러스터를 만들 때 이전에 생성 한 보안 구성을 지정할 수 있습니다. JSON 클라우드 정보 템플릿에서이 옵션을 어떻게 지정합니까? 여기 참조하고 있습니다 :이 기능이없는 것 같다 불행하게도

0열

1답변

저장소로 EMRFS (s3 버켓)를 사용하여 EMR 5.3.0을 만듭니다.

EMRFS (S3 버킷)를 저장소로 사용하여 EMR 5.3.0을 만들려고합니다. 이에 대한 일반적인 안내를 제공해주십시오. 현재 내가 InstanceType = m4.2xlarge.Which와 EMR 5.3.0를 만들기위한 명령 아래 사용하고 는 잘 작동하지만, 스토리지와 같은 EMRFS와 내가 할 수 아니에요 aws emr create-cluster --