amazon-emr

0열

1답변

작은 파일을 처리하는 스파크 (병합 및 CombineFileInputFormat)

S3에 수백만 개의 작은 파일이 있고 여기에 Spark에서 처리해야하는 사용 사례가 있습니다. 2. CombineFileInputFormat를 확장하지만 봇 때 다른 이상을 사용하는 방법과 성능에 영향 명확하지 않다 1. 합체 : 나는 작업의 수를 줄일 수있는 두 가지 옵션이 있습니다. 또한 CombineFileInputFormat은 추상 클래스이므로 구현

4열

2답변

여러 S3 계정을 사용하여 EMR 스파크를 실행 중

하나의 계정에서 S3의 데이터를 읽고 다른 계정에 데이터를 보내야하는 EMR 스파크 작업이 있습니다. 내 일을 두 단계로 나누었습니다. 먼저 S3에서 데이터를 읽습니다 (EMR 클러스터가 동일한 계정에 있으므로 자격 증명이 필요하지 않음). 둘째, 1 단계에서 생성 한 로컬 HDFS에서 데이터를 읽고 다른 계정의 S3 버킷에 데이터를 기록합니다. 내가 클러

1열

2답변

EMR의 스파크를 사용하여 S3의 파일에 작성

다음 스칼라 코드를 사용하여 S3의 텍스트 파일을 만들고 AWS EMR의 Apache Spark를 사용합니다. def createS3OutputFile() { val conf = new SparkConf().setAppName("Spark Pi") val spark = new SparkContext(conf) // use s3n

0열

1답변

/home/hadoop/bin/hadoop in ami 4.x

ami 3.x를 사용하는 기존 mapreduce 파이프 라인을 ami 4.x로 마이그레이션하려고합니다. 현재 부트 스트랩의 일부로 bash 스크립트가 있으며 그 중 하나는 hadoop fs-get s3n://somefile ~/otherfile입니다. 이것은 ami 4.x 로의 현재 마이그레이션 시도에서 실패합니다. ls /home/hadoop/bin을 추

3열

1답변

ami 4.x에서 hadoop을위한 python 가상 단계를 구성하는 방법 4.x

am3에서 파일 /home/hadoop/conf/hadoop-user-env.sh이 존재합니다. 그리고 제가 본 레거시 코드는 부트 스트래핑에서이 명령을 실행할 수있었습니다. echo ". /home/hadoop/resources/pips/bin/activate" >> /home/hadoop/conf/hadoop-user-env.sh 이렇게하면 Pyth

0열

1답변

Amazon EMR에서 Azure blob 저장소에 액세스

Amazon EMR의 Spark 클러스터 설정에서 액세스하려는 Azure blob 저장소에 많은 양의 데이터 (~ 20TB)가 있습니다. 이 작업을 수행하는 가장 좋은 방법은 무엇입니까? 이 데이터를 S3로 전송하는 것이 유일한 옵션입니까? 그렇다면이 데이터를 S3로 전송하는 가장 저렴한 방법은 무엇입니까? 감사합니다.

0열

3답변

EMR5에서 S3-Dist-Cp 오류가 발생했습니다.

emr-5.0.0 버전에서 s3-dist-cp 명령과 관련된 문제가 있습니다. 내 응용 프로그램에서는 hdfs에서 S3로 일부 파일을 푸시해야합니다. 나는 이것을 달성하기 위해 s3-dist-cp 명령을 사용하고있다. emr-4.2.0에서 정상적으로 작동했습니다. 하지만 emr-5.0.0에서는 작동하지 않습니다. 명령을 수동으로 실행하면 정상적으로 작동합니

5열

1답변

Amazon Elastic MapReduce의 Apache Hama

https://github.com/awslabs/emr-bootstrap-actions/tree/master/hama 스크립트를 사용하여 Amazon Elastic MapReduce에서 Apache Hama를 실행하려고합니다. 그러나 하나의 마스터 노드와 두 개의 슬레이브 노드로 시도 할 때 BSP 코드의 peer.getNumPeers()은 오직 하나의 피

1열

2답변

DynamoDB 테이블을 S3 버켓으로 내보내기 : 기본 VPC에서 서브넷을 찾을 수 없습니다. 하나 이상의 서브넷이 필요합니다.

DynamoDB 테이블을 s3 버켓으로 내보내야합니다. 이 기사를 사용하고 있습니다 : . __ 클러스터 : EmrClusterForBackup_2016-10-05T12 : 33 : 02Terminated 기본 VPC에서 발견 errorsNo 서브넷에 아마존 EMR에서 나는 오류를 발견했습니다. 하나 이상의 서브넷이 필요합니다. __ 누군가 비슷한 얼굴 오

2열

1답변

Amazon AWS EMR "아니오"구성 샘플 응용 프로그램

어제 aws 계정에 등록했으며 오늘 YouTube에서 몇 개의 비디오를 따라 S3의 입력 파일에 샘플 단어 카운트를 실행했습니다. 해보려고했지만 "구성 샘플 응용 프로그램"단추가 표시되지 않습니다. 나는 이미지를 첨부했다. 나는 새로운 것이기 때문에 나는 뭔가를 놓칠지도 모른다. , 가 S3에 aws-> 보안 자격 증명을 양동이를 만든 키 aws-> EC2