elastic-map-reduce

1열

2답변

Apache Hadoop 버전 1.0.3은 데몬의 클러스터 내 통신에 어떤 포트를 사용합니까?

포트 22는 제어 스크립트에만 사용된다는 것을 알고 있습니다. 하지만 3 노드 클러스터에서 열어야하는 포트를 알아야합니다. 2 노예, 1 namenode/jobtracker. 데몬은 어떤 포트에서 실행됩니까? URL은 어떤 포트에 표시됩니까? 하둡 배포판은 다음과 같습니다 아파치 하둡 버전 URL에 의해 1.0.3

1열

1답변

segue를 사용하는 EC2 병렬 처리 사용자 정의 패키지

병렬 처리를 수행하기 위해 R segue 패키지 (here에서 다운로드 가능)를 사용하고 있습니다. 클러스터를 설치할 때 설치할 패키지를 제공하고 싶습니다. 이 패키지는 내가 만든 것으로, tar.gz 파일로 변환했지만 클러스터 인스턴스에 설치하는 방법을 알아낼 수 없습니다. 는, 나는 tar.gz 파일로 크랑에서 DevTools로 패키지를 다운로드하고는

3열

1답변

Java API에서 AWS 탄력적 인 mapreduce 작업 흐름을 시작합니다. 하이브 스크립트는 어디에서 실행해야합니까?

저는 Amazon Elastic MapReduce 및 Hive를 사용하여 데이터 처리 응용 프로그램을 개발했습니다. 이제 SSH를 사용할 때 하이브 스크립트가 작동하고 대화식 모드 작업 흐름을 사용하여 스크립트를 실행 했으므로 AWS Java API를 사용하여 작업 흐름을 만들려고합니다. http://docs.amazonwebservices.com/Elas

6열

2답변

Amazon EMR에서 s3distcp를 사용하여 단일 파일 복사

s3distcp를 사용하여 하나의 파일을 HDFS로 복사하려고합니다. srcPattern 인수를 사용해 보았지만 도움이되지 않았으며 java.lang.Runtime 예외를 throw합니다. 내가 사용하는 정규 표현식이 범인 일 수 있습니다. 도와주세요. 다음과 같이 내 코드는 다음과 같습니다 elastic-mapreduce -j $jobflow --jar

3열

1답변

하이브 : 테이블 생성 기능

I는 JSON gzip으로 인코딩 된 파일을 사용하여 아마존 MapReduce의 탄성에 하이브 테이블을 생성하고 배열에 대한 콤마 분리 열로 변환. 나는이 JSON SerDe을 사용하고 있습니다 : http://code.google.com/p/hive-json-serde/ 인코딩되지 않은 파일은 다음과 같습니다 {"id":"101", "items":"A:2

0열

2답변

MapReduce 프로그램에서 데이터를 읽을 수있는 다양한 방법에는 어떤 것이 있습니까?

실제로 CSV 파일에 대한 계산을 수행하고 그 CSV 파일의 각 행에 대해 앞의 네 행을 계산에 사용하려고합니다. 어떻게해야합니까? 거의 모든 MapReduce 예제를 읽었을 때 데이터를 읽는 유일한 방법은 한 번에 한 행이었고 다른 행의 계산조차도 서로 독립적이었습니다. 모든 리소스와 좋은 조언을 주시면 감사하겠습니다.

0열

1답변

Amazon EMR에서 mrjob을 사용하여 Mapreduce 프로그램을 실행하는 것에 약간의 의문이 생기기

저는 mrjob을 처음 사용하며 Amazon EMR에서 작업을 실행하는 데 문제가 있습니다. 나는 그들을 순차적으로 쓰겠다. 로컬 컴퓨터에서 mrjob을 실행할 수 있습니다. 그러나 /home/ankit/.mrjob.conf와 /etc/mrjob.conf에 mrjob.conf가 있으면 로컬 컴퓨터에서 작업이 실행되지 않습니다. 다음은 내가 얻는 것입니다.

0열

3답변

Amazon Elastic MapReduce 및 S3의 매개 변수 파일에서 읽기

Amazon Elastic MapReduce 시스템에서 hadoop 프로그램을 실행하려고합니다. 내 프로그램은 프로그램을 실행하는 데 필요한 매개 변수가 들어있는 로컬 파일 시스템의 입력 파일을 사용합니다. 그러나 파일이 정상적으로 로컬 파일 시스템에서 FileInputStream으로 읽혀지기 때문에 AWS 환경에서 매개 변수 파일을 찾을 수 없다는 오류가

2열

1답변

힙 메모리와 함께 병렬 맵퍼/리듀서의 수를 결정하는 방법은 무엇입니까?

11 노드 클러스터에서 실행중인 EMR 작업이 있다고 가정 해보십시오. m1.small 마스터 노드와 10 m1.xlarge 슬레이브 노드. 이제 하나의 m1.xlarge 노드에 15GB의 RAM이 있습니다. 어떻게 설정할 수있는 평행 매퍼와 리듀서의 수를 결정할 것인가? 내 직업은 메모리를 많이 사용하기 때문에 점점 더 많은 힙을 JVM에 할당하고 싶습니

11열

1답변

하이브, S3, EMR 및 복구 파티션으로 데이터로드

SOLVED :이 문제의 '해결책'은 아래 업데이트 # 2를 참조하십시오. s3://($BUCKET)/y=2012/m=11/d=09/H=10/ 내가 하이브로이로드를 시도하고 있습니다 : S3에서 ~~~~~~~ , 내가 좋아하는 중첩 된 디렉토리 구조에 저장 된 .gz 파일 일부 로그 *이 create external table logs (content