amazon-emr

3열

2답변

아마존 탄성 맵어du 서비스를 사용할 때 hadoop에 제 3 자 라이브러리를 포함하는 방법

weka라는 타사 라이브러리를 사용하여 데이터 마이닝 작업을 수행해야합니다. 그러나 아마존 탄성지도 서비스에 필요한 jar 파일을 포함시키는 방법을 모르겠습니다. 누구나이 사건을 다룬 경험이 있습니까?

0열

1답변

importing from S3 to DynamoDB의 경우 제공된 쓰기 처리량에 해당됩니까? S3의 멀티 기가 바이트 파일에서 일괄 업데이트를 제외하고는 읽기 전용 인 서비스가 있습니다. AWS는 한 달에 두 번만 프로비저닝 된 요금을 두 번 허용하는 정책을 고려할 때 한 달 내로 프로비저닝 된 비용을 지불하고 싶지 않으며 0 회 기록에서 수백만으로 규모

1열

1답변

amazon EMR에서 HBase를 실행할 때/tmp 폴더가 실제 데이터에 비해 왜 큰가요?

아마존 EMR에 기본 설정으로 hadoop + hbase 클러스터가 있으므로 mapred.child.tmp과 hbase.tmp.dir은 /tmp을 가리 킵니다. 우리 클러스터는 잠시 동안 실행되었고 현재 /tmp은 500Gb입니다. 실제로는 /hbase 데이터의 경우 70Gb입니다. 차이점이 너무 많습니다. /tmp 데이터 중 일부를 정기적으로 삭제해야합니

1열

2답변

piggybank와 AvroStorage에서 EMR 문제가있는 돼지

나는 Avro 형식으로 저장된 데이터를 읽는 EMR에서 돼지 스크립트를 실행 중입니다. 로컬에서 작업했지만 스크립트의 다른 부분이 EMR에서 작동하도록하려면 piggybank.jar를 되돌려 야했는데 0.10.0 대신 0.9.2를 사용했습니다. 변경 후 AvroStorage는 자동으로 모든 데이터를 읽지 못하고 0 개의 레코드 만 반환합니다. 로그 나 아무

0열

1답변

Amazon S3 멀티 파트 업로드가 종종 실패합니다.

s3cmd CLI를 사용하여 32GB 파일을 S3 버킷에 업로드하려고합니다. 다중 업로드를하고 있으며 종종 실패합니다. 저는 1000mbps의 대역폭을 가지고있는 서버에서이 작업을하고 있습니다. 그러나 업로드는 여전히 매우 느립니다. 이 속도를 높이기 위해 할 수있는 일이 있습니까? 반면에 파일은 내가 언급 한 서버의 HDFS에 있습니다. Amazon El

0열

1답변

amazon hbase에서 데이터 읽기

누구든지 저에게 amazon hbase에서 org.apache.hadoop.conf.Configuration 및 org.apache.hadoop.hbase.client.HTablePool을 사용하여 데이터를 읽을 수 있는지 제안 할 수 있습니까? Amazon의 EMR 프레임 워크로 마이그레이션 중이며 hbase가 실행 중입니다. 현재 구현은 순수 Apach

3열

1답변

Amazon EMR의 Python Mapper

Amazon EMR에서 매퍼로 Python 스크립트를 실행하려고합니다. 내 스크립트의 초기 부분은 유사합니다 import sys import decimal def some_function(sensor_record): return 1 즉, 다음과 같은 오류 출력 결과이에 [...]/mapper_script.py: line 1: import:

6열

2답변

Amazon Elastic MapReduce - SIGTERM

일반적으로 잘 작동하는 EMR 스트리밍 작업 (Python)이 있습니다 (예 : 10 개 머신에서 200 개 입력 처리). 그러나, 나는 다음과 같은 오류 얻을 재정의 2.5 시간 후 (12 기계가 입력 당 약 20 초에서 6000 개 입력의 총 처리) 대용량 데이터 세트에 대해 그것을 실행하면 내가 읽고 있어요 경우 java.lang.RuntimeExce

0열

1답변

탄성 맵리 듀스 내가 아마존에서 사용자 지정 항아리 EMR 작업을 실행하기 위해 노력하고있어 나는 내 jar 파일에 루씬 jar 파일에 대한 참조가 S3 jar 파일

를 참조 인수를 libjars. MyMainClass -libjars s3n://mybucket/lib/lucene-core-3.6.1.jar s3n://mybucket/myinput s3n://mybucket/myoutput 작업이 실패하고 나는 점점 이러한 오류 계속 : 찾을 수가 없습니다 java.lang.NoClassDefFoundError: o

0열

2답변

증가하는 인스턴스 수가 증가하지 않는 이유 하이브 쿼리 속도

아마존의 Elastic MapReduce에서 하이브를 사용하여 테이블을 만들고 데이터를 가져 와서 파티션을 나누었습니다. 이제 테이블 필드 중 가장 빈번한 단어를 계산하는 쿼리를 실행합니다. 1 개의 마스터 인스턴스와 2 개의 코어 인스턴스가 있고 계산하는 데 180 초가 걸렸을 때 쿼리가 실행됩니다. 그런 다음 1 개의 마스터와 10 개의 코어를 갖도록