elastic-map-reduce

0열

1답변

AWS EMR에서 사용자 정의 된 WordCount jar을 실행할 때 오류가 발생했습니다.

안녕하세요, AWS EMR에서 사용자 정의 된 WordCount jar를 실행하려고합니다. 작업 인수가없는 단계로 추가하려고했는데 성공적으로 실행 중이므로 단어 수 jar이 제대로 작동하고 있습니다. 내 문제는 내가 일자리 논쟁으로 실행할 때다. 내 S3에서 나는 2 개 폴더 Jar location -> s3n://word-count123/WordCount

0열

2답변

AWS에서 스트리밍 python map-reduce를 사용하여 stdin을 통해 Hadoop 시퀀스 파일을 읽을 수 없습니다.

아마존의 Elastic Map Reduce에서 map-reduce 작업을 수행하는 간단한 단어를 실행하려고하지만 출력이 헛 스럽습니다. 입력 파일은 hadoop 시퀀스 파일 인 common crawl 파일의 일부입니다. 파일은 크롤링 된 웹 페이지에서 추출 된 텍스트 (html에서 제외됨)로 간주됩니다. 내 AWS 엘라스틱 맵리 듀스 단계는 다음과 같습니다

3열

1답변

오류 : java.io.IOException : 잘못된 값 클래스 : class org.apache.hadoop.io.Text가 Myclass 클래스가 아닙니다.

다음과 같이 내 매퍼 및 축소 기가 있습니다. 하지만 이상한 예외가 생겨났습니다. 왜 이런 종류의 예외가 발생하는지 알 수 없습니다. 당신의 출력 유형이 동일해야 감소 내부적으로 Error: java.io.IOException: wrong value class: class org.apache.hadoop.io.Text is not class com.xyz.

2열

2답변

은 Elastic MapReduce에 ssh 할 수 없습니다.

elastic-mapreduce을 사용하여 명령 줄에서 새 클러스터를 회전 시켰습니다. this 자습서를 읽은 후, 나는이 : elastic-mapreduce --create --alive \ --instance-type m1.xlarge\ --num-instances 5 \ --supported-product mapr \ --name m7 \ -

0열

1답변

하고 출력하기 사용자 정의 CSV 헤더는 다음과 같이 내가 내 자신의 감속기를 만드는 오전

감소 : public class MyReducer implemts Reducer<K1,V1,K2,V2>{ @override public void configure(JobConf conf){ } @override public void close(JobConf conf){ } public void reduce(parsms){ } }

0열

1답변

./ssh (mac osx)에 파일을 저장하는 방법은 무엇입니까?

파일을 ./ssh 디렉토리에 저장하는 방법 (mac osx를 사용하고 있습니다). 명령 줄에서 무엇을 입력해야합니까? 아니면 ./ssh에 다운로드 한 파일을 저장할 수있는 방법이 있습니까? (더 컨텍스트를 들어, 내가 아마존 맵리 듀스를 사용하여 SSH에 EMR.pem 파일을 저장하고자하고 있습니다.)

1열

2답변

Hadoop에서 키를 정렬/셔플하는 노드는 무엇입니까?

Hadoop 작업에서 어떤 노드가 정렬/셔플 링 단계를 수행합니까? 해당 노드의 메모리를 늘리면 정렬/셔플의 성능이 향상됩니까?

2열

2답변

s3distcp 오류

가 내가 EMR 작업에 s3distcp를 사용하려고 해요 "인수 '--arg은'일치하지 않습니다"이 예외를 가지고 : Exception in thread "main" java.lang.RuntimeException: Argument --arg doesn't match. at emr.hbase.options.Options.parseArguments

3열

3답변

AWS의 EMR에있는 jar에서 S3의 파일에 쓰기

내 Java 파일에서 내림 파일을 작성할 S3 폴더로 파일에 쓸 수있는 방법이 있습니까? 나는 다음과 같이 시도했다. FileSystem fs = FileSystem.get(conf); FSDataOutputStream FS = fs.create(new Path("S3 folder output path"+"//Result.txt"));

0열

2답변

하둡의 매퍼 및 감속기

하둡의 구현에 대해 혼란 스럽습니다. 여러 맵퍼 및 리듀서가있는 Hadoop MapReduce 작업을 실행할 때 많은 part-xxxxx 파일을 얻을 수 있습니다. 그 사이에, 열쇠는 그 중 하나에서만 나타난다 진실하다. 따라서 MapReduce가 어떻게 작동하여 키가 하나의 출력 파일에만 연결되는지 궁금합니다. 미리 감사드립니다.