elastic-map-reduce

1열

1답변

첫 번째 시도에서 오류 (네트워크 연결 문제)를 줄이려면 출력 파일이 이미 있기 때문에 후속 축소 시도 (재시도)가 실패합니다.

Amazon EMR에서 mapreduce 작업이 크게 실패한 경우 첫 번째 시도가 결과를 S3로 복사하지 못하기 때문에 , 아마도 부분 파일 인 파일이 생성 될 것이고, 후속 축소 시도는 이미 존재하는 파일에 대한 쓰기를 거부 할 것입니다. 첫 번째 시도 로그 : 014-11-30 06:56:19,774 INFO [main] com.amazonaws.lat

1열

1답변

EMR에서 mr-job을 실행하는 동안 Amazon S3 오류 코드 : 400

EMR에서 사용자 정의 jar를 실행하는 중에이 오류가 발생했습니다. Exception in thread "main" com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: Bad Request (Service: Amazon S3; Status Code: 40

0열

1답변

지도 기능이 EMR에서 실행되는 mapreduce에서 실패합니다.

Amazon EMR에서 자체지도 축소 작업을 실행하고 있습니다. 나는지도 작업이 실패하고있는 것을보고, 나는 실패한지도 작업의 이유를 알 수 없다. import fileinput import csv myDict = {} csvreader = csv.reader(fileinput.input(mode='rb'), delimiter=',') for ne

2열

1답변

탄성 검색 _cat/색인에 오류가 있습니까?

현재 elasticsearch helper scan api를 사용하고 있지만 데이터를 가져올 수 없습니다. 명령을 helpers.scan( client=client, query={"query":{"match_all":{}}}, scroll='10m', index="debug", doc_type = "too

1열

1답변

EMR & Spark 클러스터 생성 후 종속성 추가

클러스터가 이미 실행되고 실행 된 후에 추가로 libs/dependencies를 설치할 수 있습니까? 이 관련된 나는 짓을했는지 것들 : 이미 사전 생성 부트 스트랩 프로세스를 완료했습니다 각에 선택적으로 , SSH'd (이 완전히 다른 솔루션입니다) 노드 및 설치된 종속성 클러스터가 올라온 후 필자는 시동 이후 설치 솔루션이 드라이버의 모든 실행 프로그램

3열

1답변

데이터 파이프 라인을 통해 실행되는 EMR 클러스터의 인스턴스 역할을 설정하는 방법은 무엇입니까?

데이터 파이프 라인을 통해 실행중인 클러스터에 인스턴스 역할을 연결하려고합니다. DynamoDB에 쓰기 권한이 필요한 내 자신의 매퍼 스크립트를 실행하고 싶습니다 ("일반"HIVE 업로드는 저를 위해 속임수를 쓰지 않습니다). 나는 API 문서를 살펴 봤는데 EMR이 머신의 인스턴스 역할을 지정할 수 있지만 데이터 파이프 라인 API에서는 지원되지 않는 것

4열

1답변

AWS EMR 작업 진행 상태를 모니터링하는 가장 좋은 방법은 무엇입니까?

다음 코드는 EMR 작업을 실행하는 데 성공했으며 성공적으로 실행됩니다. 또한 실행 상태를 모니터링하려고합니다. DescribeJobFlows API를 사용하지만이 API는 http://docs.aws.amazon.com/AWSJavaSDK/latest/javadoc/com/amazonaws/services/elasticmapreduce/AmazonElas

4열

1답변

오류 : 정의되지 않은 방법 나는 다음과 같은 오류가있어

"각"탄성 맵리 듀스를 실행하는 경우 문자열에 대한 분산을 특정하는 캐시 파일 : Error: undefined method `each' for "s3n://dico-count-words/Cache/dicoClazz.p#dicoClazzCache.p":String 나는 아마존에 맵리 듀스 알고리즘을 실행하려면 다음 명령 줄을 실행하면 탄성 맵리 듀스를

5열

1답변

AWS EMR 클러스터 또는 이름 노드의 스냅 샷 생성 가능성

AWS 서비스에 익숙하며 몇 가지 유스 케이스를 사용하려고합니다. 일부 미리 정의 된 구성 및 응용 프로그램/스크립트를 설치하여 필요할 때 EMR 클러스터를 만들고 싶습니다. 나는 기존의 EMR 클러스터 또는 적어도 namenode의 스냅 샷을 생성 한 다음 다른 클러스터를 생성 할 때마다 매번 사용하도록 계획하고있었습니다. 그러나 일부 Google 검색

1열

2답변

다양한 warc.gz 파일 매핑, EMR

감정 분석을 위해 Common Crawl의 일부 아카이브를 매핑하기 위해 Python으로 작성된 매퍼 및 감속기를 사용하여 AWS/EMR에서 스트리밍 단계를 실행했습니다. 이전의 일반적인 크롤링 textData 형식을 최신 warc.gz 형식으로 옮길 예정이며 EMR 입력을 위해 warc.gz 파일의 범위를 지정하는 방법을 알아야합니다. 예를 들어 : s3