elastic-map-reduce

0열

2답변

Elastic Mapreduce 작업을 프로그래밍 방식으로 제어 할 수 있습니까?

루비로 작성된 명령 행 클라이언트가 표준으로 사용됩니다. 그러나 1.9에서는 실행되지 않습니다. 루비에는 aws-sdk도 매우 좋지만 EMR은 지원하지 않습니다. 좋은 대안이 있습니까?

6열

3답변

EMR을 사용하여 웹 nginx 로그를 분석하고 있습니다. 하지만 로그를 쉽게 처리 할 수 있도록 행과 열로 분류 할 수 있도록 로그를 처리해야합니다. 그러므로 나는 두 테이블 제작 - rawlog, 다음의 방식으로 processedlog : create table rawlog(line string) row format delimited fields

2열

3답변

아마존 엘라스틱 맵리 듀스 : 출력 디렉토리

나는 탄성 맵리 듀스를 실행하고 다음과 같은 오류와 함께 타격을 받고 유지의 아마존의 예제를 실행 해요 : 여기 Error launching job , Output path already exists. 은 내가 사용하고있는 작업을 실행하는 명령은 다음과 같습니다 C:\ruby\elastic-mapreduce-cli>ruby elastic-mapreduce

1열

2답변

큰 공분산 행렬 만들기

두 개의 크기가 19347 x 19347 인 공분산 행렬을 ~ 110 개 만들어야합니다. 이 자체는 그다지 어렵지 않으며 작은 행렬의 경우 다음 코드가 올바르게 작동합니다. covmat <- matrix(0, ncol=19347, nrow=19347) files<-list.files("path/to/folder/") for(name in files){

1열

1답변

Apache HBase 및 Cloudera HBase는 호환 가능합니까? 직장에서

는 우리가 할 시도하는 다음 HBase를 구체적으로, EC2에서 실행중인 0.20.205 쓰기 출력 버전에서 하둡을 정지 아마존을 통해 실행 엘라스틱 맵리 듀스 작업, 0.92.1- cdhu4.0.1 from Cloudera 내가 지금까지 발견 한 것은 내 Hadoop 작업 (Maven을 통해 패키지화)에서 Apache HBase 0.92.1을 사용할 때

2열

1답변

Amazon EMR : EMR 인스턴스 당 매퍼 및 리듀서의 고유 번호를 설정하십시오.

M 코어 인스턴스와 N 개의 작업 인스턴스가있는 Amazon EMR 클러스터를 실행하고 있습니다. 내 작업이 하루에 여러 번 실행되므로 시간이 중요하므로 M 코어 인스턴스를 24 시간 가동하여 S3에서 /로 데이터 전송 오버 헤드가 발생하지 않도록합니다. N 개의 작업 노드가 필요에 따라 동적으로 시작되고 종료됩니다. M 코어 노드는 c1.mediums이고

1열

1답변

완성 된 작업에 대한 AWS EMR 감속기 출력은 어디에 있습니까 (S3에 있어야하지만 그곳에는 없습니까?).

AWS의 EMR에 대한 Hadoop 작업이 S3에 저장되지 않는 문제가 있습니다. 작은 샘플에서 작업을 실행하면 출력 작업이 잘 저장됩니다. 동일한 명령을 실행하지만 전체 데이터 세트에서 작업을 완료하면 작업이 다시 완료되지만 출력을 지정하는 S3에는 아무 것도 없습니다. 분명히 bug with AWS EMR in 2009이 있었지만 "고정"되었습니다. 다

1열

2답변

HDFS로 출력되는 EMR 작업에 distcp 및 s3distcp를 사용할 때의 문제

AWS의 EMR에서 작업을 실행하고 출력을 EMR 작업의 HDFS에 저장했습니다. 그런 다음 distcp 또는 s3distcp를 통해 결과를 S3에 복사하려고 시도하지만 아래에 설명 된대로 둘 다 실패합니다. (참고 : 이유는 그냥 S3에 직접 내 EMR 작업의 출력을 보내지 않고 있어요, 나는() this post's recommendation를 다음 실

6열

2답변

Amazon Elastic MapReduce - SIGTERM

일반적으로 잘 작동하는 EMR 스트리밍 작업 (Python)이 있습니다 (예 : 10 개 머신에서 200 개 입력 처리). 그러나, 나는 다음과 같은 오류 얻을 재정의 2.5 시간 후 (12 기계가 입력 당 약 20 초에서 6000 개 입력의 총 처리) 대용량 데이터 세트에 대해 그것을 실행하면 내가 읽고 있어요 경우 java.lang.RuntimeExce

1열

1답변

ElasticMapReduce : 이미 할당 된 EMR 클러스터를 재사용 할 수 있습니까?

새 클러스터를 만들 때 EMR CLI의 --alive 옵션을 지정했는데 다른 작업을 시작할 때 클러스터를 재사용 할 수 있는지 궁금합니다. 클러스터의 ID를 얻기 위해 관련 옵션을 찾을 수 없습니까? 그럼 그렇게 할 수 없다는 뜻입니까?