amazon-emr

1열

1답변

EMR을 사용 메신저 및 jupyter (ipython)를 사용하고 싶어 그래서 내가 클러스터에 부트 스트랩 동작 추가 : S3를 : 을 //elasticmapreduce.bootstrapactions/ipython-notebook/install-ipython-notebook 내 로컬 호스트에서 jupyter에 액세스하기 위해 포트 튜닝을 수행했으나 제대로

5열

1답변

적절한 권한으로 임시 디렉토리를 만들 수 없습니다./mnt1/s3

다음은 컨테이너 중 하나의 로그 덤프입니다. 일부 사용 권한으로 인해 폴더를 만들 수 없다는 예외가 있습니다. 여러 가지 문제를 해결했지만 여전히 존재합니다. 16/12/19 9시 44분 5초는 ConfigurationUtils 경고 :/mnt1/S3 java.nio.file.AccessDeniedException : 적절한 권한이있는 임시 디렉토리를 만들

2열

1답변

디스크가 꽉 차서 AWS EMR 클러스터가 실패합니다.

~ 10 개의 노드가있는 aws emr 클러스터에서 일부 맵 축소 작업이 실행 중입니다. (emr 4.7.11, m3.xlarge) 작업이 실행되는 동안 작업자 노드는 ~ 4 시간 후에 하나씩 죽기 시작합니다. 작업자 노드에서 "1/3 local-dirs are bad: /mnt/yarn; 1/1 log-dirs are bad: /var/log/hadoop

0열

1답변

매우 큰 파일을 업로드하는 동안 EMR이 실패합니다.

EMR에서 S3로 1000GB의 20GB 파일을 업로드해야하는 유스 케이스가 있습니다. fileSystem.moveFromLocalFile의 API를 사용하여 파일을 업로드하는 동안 , 작업이 다음 오류와 함께 실패 :이 오류가 20기가바이트 파일의 수는 자주 할 때 1000의 순서이며, 경우에 자주 발생 16/12/23 07:25:04 WARN TaskS

-1열

1답변

Cloudera에서 Amazon S3 버킷으로 데이터 이동

CDH hdfs에 대한 데이터가 있으며이를 Amazon S3 버킷으로 이동하려고하므로 CDH 대신 AWS EMR에서 코드를 실행할 수 있습니다. 어떻게 안전하고 빠르게 이동할 수 있습니까? s3a 명령이나 다른 효율적인 방법으로 처리 할 수 있습니까?

0열

1답변

Presto jdbc driver를 사용하는 하이브의 쿼리 테이블 - "Server refused connection"오류로 실패했습니다.

EMR에서 하이브 테이블을 쿼리하기 위해 Presto를 사용하고 있습니다. presto 드라이버를 초기화하고 연결을 가져 오지만 해당 연결에서 쿼리를 실행하려고하면 오류가 발생합니다. 서버가 연결을 거부했습니다 : http://aws.address/v1/statement. 하이브/AWS 자격 증명을 사용하기 전에 설정해야합니까? 내가 어떻게 해? publi

1열

2답변

CloudFormation/Terraform을 사용하여 EMR 보안 구성을 생성하는 방법이 있습니까

CLI 명령과 유사한 논리를 보관하려고합니다 : aws emr create-security-configuration --name [name] --security-configuration ... Terraform 스크립트에서 더 사용하십시오.

0열

2답변

하이브 쿼리 : 다른 열의 중간 값을 기준으로 파티션의 열 선택

쿼리를 모델링 할 수 없으므로 도움이 필요합니다. 내 데이터는 다음과 같습니다 id name school height 1 A S1 10 2 B S1 12 3 C S1 14 4 D S2 15 5 E S2 16 6 F S2 17 내가 이름과 학교 당 평균 높이와 이름을 선택합니다. 예상 출력 : 여기 id name schoo

1열

1답변

사용자 지정 log4j 클래스가 spark 2.0 이상 작동하지 않습니다. EMR

EMR을 통해 spark 2.0에서 json으로 로그를 쓰려고합니다. 사용자 정의 log4j.properties 파일을 사용할 수있었습니다. 그러나 나는, 나는 다음과 같은 예외 얻을 사용자 정의 클래스 (net.logstash.log4j.JSONEventLayoutV1)와 JSON으로 출력을 변경하려고 할 때 : 여기 log4j:ERROR Could no

0열

1답변

AWS EMR 병렬 매퍼?

EMR 클러스터에 필요한 노드 수를 결정하려고합니다. 모범 사례의 일환으로 권장 사항은 다음과 같습니다 (공정으로 이송 작업 + 시간에 필요한 총 매퍼가)/(예를 용량 + 원하는 시간 당) 여기에 설명 된대로 : http://www.slideshare.net/AmazonWebServices/amazon-elastic-mapreduce-deep-dive-an