elastic-map-reduce

1열

1답변

S3에서 Elastic MapReduce 클러스터의 모든 노드로 큰 파일 복사

부트 스트랩 작업에서 S3에서 Elastic MapReduce 클러스터의 모든 노드로 큰 파일 (~ 6GB)을 복사하면 ' 잘 스케일; 파이프가 너무 커서 노드에 대한 다운로드가 # 노드가 커질수록 느려집니다. 저는 22 단계의 작업 흐름을 실행 중입니다.이 파일은 8 개가 필요합니다. 물론, S3에서 HDFS로 복사하고 매 단계마다 파일을 캐시 할 수는

0열

3답변

MapReduce의 데이터 노드간에 데이터를 분할하고 분산시키는 방법은 무엇입니까?

MapReduce가 처음인데 큰 데이터 (레코드 줄)를 처리하는 작업이 필요합니다. 내가 사용해야 할 한 가지는 매퍼 내 특정 레코드의 라인 번호 이며, 감속기는 매퍼를 기반으로하는 라인 번호 정보를 처리합니다. 예를 들어 , 나는 매우 큰 인 input.txt를가, 각 라인은 다음과 같습니다 한 지금 가정 : 1. Melo, apple, orange 2

1열

1답변

MapReduce의 데이터 노드간에 데이터가 어떻게 분산됩니까?

1열

1답변

외부 돼지 작업 (돼지 -> DSE 커넥터)에서 DSE에 쓰기

게재를 위해 사용할 DSE에 쓰는 돼지를 실행하는 EMR 작업을 작성하려고합니다. 불행히도 DSE에 쓰기 위해 돼지를 만들 수는 없으므로 문제를 DSE 노드에 연결하여 쓰기 만하려고했습니다. 는 여기에 내가 카산드라 노드에 을하고있어 무엇 : 로컬 컴퓨터에서 cqlsh> CREATE KEYSPACE cql3ks WITH replication = {

3열

2답변

Oozie on EMR - 작업이 PREP 상태에서 영원히 멈춤

3.0.4 AMI (Hadoop 2.2.0)를 사용하여 Elastic Mapreduce에서 Oozie 4.0.1을 실행 중입니다. 원본에서 Oozie를 빌드 했으므로 모든 것이 설치되고 Hive 작업을 예약 할 때까지 제대로 작동합니다. 즉, 웹 콘솔에 연결하여 'oozie'명령을 사용하여 작업을 제출하고 종료 할 수 있습니다. 그러나 ... 지금까지 "하

2열

1답변

s3에서 입력 된 bz2 파일을 Hadoop에 복사하지 못했습니다.

아마존의 EMR에서 실행중인 맵 전용 hadoop 작업이 있으며, 최신 ami 버전 : 3.0.4에서 실행됩니다. 가끔씩 다음과 같은 예외가 발생합니다. Error: com.amazonaws.AmazonClientException: Unable to verify integrity of data download. Client calculated content

2열

5답변

elasticsearch 클러스터를 설정하는 방법

다중 노드 탄성 검색 클러스터를 설정하려고합니다. 설치 클러스터를 따라갈 수있는 유용한 링크가 있습니다. 정확한 일치를 찾기 위해 클러스터에서 맵 축소 프로그램을 실행하려고합니다.

6열

1답변

hadoop 인스턴스 유형 사이의 올바른 부분을 찾는 방법

내 작업에 얼마나 많은 MASTER, CORE, TASK 인스턴스가 최적인지 알아 내려고합니다. 어떻게 알아낼 수 있는지 설명하는 튜토리얼을 찾을 수 없었습니다. 2 개 이상의 코어 인스턴스가 필요한지 어떻게 알 수 있습니까? EMR의 콘솔에서 볼 수있는 "증상"은 무엇입니까? 지금까지 1 * core + 7 * 작업 인스턴스로 동일한 작업을 시도했을 때

0열

1답변

가격으로 스팟 인스턴스에 입찰하는 방법 : 0.0164

지난 주 EC2 가격 차트 (m1.large)를 us-east-1c에서 살펴본 결과, 0.0160, 0.0161, 0.0162, 0.0163과 같은 가격이 매우 명확하게 보입니다. 이 같은 가격으로 입찰 할 수있는 방법이 될,하지만 난 아마존 탄성 맵리 듀스 루비 CLI를 사용하여 클러스터를 만들려고 할 때, 나는이 오류 받아야합니다 :이 Error: No

1열

2답변

Hadoop MapReduce에서 결합기를 구현하는 방법은 무엇입니까?

Hadoop MapReduce에 결합기를 포함하면 다음 행이 포함되어 있음을 이해합니다 (이미 완료 했음). conf.setCombinerClass(MyReducer.class); 내가 이해할 수없는 것은 내가 실제로 결합기의 기능을 구현한다는 것입니다. MyReducer에서 combine {} 메소드를 생성합니까? reduce 메소드; public v