Cloudera에서 워드 카운트가 실행되지 않음

Amazon EC2의 Linux RHEL 7.2 인스턴스에 Cloudera 5.8을 설치했습니다. 나는 SSH로 로그인하고 난 다음 명령을 맵리 듀스 작업을 시험하기위한 단어 수 예제를 실행하려고 :Cloudera에서 워드 카운트가 실행되지 않음

hadoop jar /opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount archivo.txt output

문제는 단어 수 프로그램이 차단되고, 그렇지 않은 출력을 생성하는 것입니다. 다음과 같은 메시지가 표시됩니다.

16/08/11 13:10:02 INFO client.RMProxy: Connecting to ResourceManager at ip-172-31-22-226.ec2.internal/172.31.22.226:8032 

16/08/11 13:10:03 INFO input.FileInputFormat: Total input paths to process : 1 

16/08/11 13:10:03 INFO mapreduce.JobSubmitter: number of splits:1 

16/08/11 13:10:04 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1470929244097_0007 

16/08/11 13:10:04 INFO impl.YarnClientImpl: Submitted application application_1470929244097_0007 

16/08/11 13:10:04 INFO mapreduce.Job: The url to track the job: http://ip-172-31-22-226.ec2.internal:8088/proxy/application_1470929244097_0007/ 

16/08/11 13:10:04 INFO mapreduce.Job: Running job: job_1470929244097_0007

"실행중인 작업"이후 차단됩니다. 이 후 Ctrl + C 키를 눌러 차단을 해제하면 출력이 생성되지 않습니다.

이유를 아는 사람은 누구입니까?. 아마 그것이 구성 문제라고 생각하고 DataNodes에 익숙하지 않습니다.

고마워요.

출처

2016-08-11 digito

리소스 (지도 또는 감속기 슬롯)가없는 것처럼 보이며 작업이 리소스를 기다리고 있습니다. 에서 작업 상태를 확인할 수 있습니다.

http://ip-172-31-22-226.ec2.internal:8088

출처

2016-08-12 05:29:01 vgunnu

해당 URL을 찾아 보려면 EC2 대시 보드의 보안 그룹을 8088 포트를 허용하도록 변경해야했습니다. 해당 페이지의 결과로 4 개의 앱이 보류 중이지만 0 개의 앱이 실행 중이고 0 개가 완료되었습니다. 왜 그럴 수 있죠? – digito

예상 작업이 자원을 기다리고 있으므로 ... 자원 관리자 로그를 확인하면 자세한 정보를 찾을 수 있습니다. – vgunnu

해답을 가져 주셔서 감사합니다. Google에서는 리소스 관리자 로그가있는 위치를 찾을 수 없습니다. 완료된 작업 (실 로그 -applicationId applicationId)에 대한 명령을 찾았지 만 유휴 작업에 대해서는 작동하지 않습니다 ... 제발, 로그를 어디서 볼 수 있습니까 ?? – digito

Cloudera에서 워드 카운트가 실행되지 않음

답변

관련 문제