얀이 노드를 얻지 못함

이것은 2 개의 작업 노드와 마스터가있는 AWS EMR 클러스터에 있습니다.얀이 노드를 얻지 못함

저는 원사 작업을 시작하는 hello-samza를 시도하고 있습니다. 작업이 ACCEPTED STATE 상태에서 멈춤. 나는 다른 게시물을 살펴 봤는데 내 마디가 노드가없는 것 같습니다. 어떤 원사가 작업 노드를 얻지 못했는지에 대한 도움이 도움이 될 것입니다.

[[email protected] hello-samza]$ deploy/yarn/bin/yarn node -list 
17/04/18 23:30:45 INFO client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8032 
Total Nodes:0 
    Node-Id   Node-State Node-Http-Address Number-of-Running-Containers 

[[email protected] hello-samza]$ deploy/yarn/bin/yarn application -list -appStates ALL 
17/04/18 23:26:30 INFO client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8032 
Total number of applications (application-types: [] and states: [NEW, NEW_SAVING, SUBMITTED, ACCEPTED, RUNNING, FINISHED, FAILED, KILLED]):1 
      Application-Id  Application-Name  Application-Type   User  Queue    State   Final-State   Progress      Tracking-URL 
application_1492557889328_0001 wikipedia-parser_1     Samza  hadoop  default   ACCEPTED   UNDEFINED    0%         N/A

출처

2017-04-19 dvshekar

'실 노드리스트 --all'의 출력 게시 – franklinsijo

[hadoop @ xxx hello-samza] $ deploy/yarn/bin/yarn 노드 -리스트 ALL 17/04/19 16시 48분 59초 정보 client.RMProxy : /127.0.0.1:8032 총 노드에서 ResourceManager에 연결 : 0 노드-ID \t 노드 주 \t 노드의 HTTP-주소 \t 수 - 중 - 실행 - 컨테이너 – dvshekar

당신에게 잘못된 인수를 사용했습니다. 소문자에서는'-all'입니다. – franklinsijo

nodemanagers가 두 노드에서 실행되지 않는 것 같습니다 (시작되지 않았거나 오류가 발생 함). jps 명령을 사용하여 YARN과 관련된 모든 데몬이 두 노드에서 실행 중인지 확인하십시오. 또한 nodemanager 로그를 모두 검사하여 예외가 발생했는지 확인하십시오.

출처

2017-04-19 03:00:35

jps가 nodemanager 및 resourcemanager를 제공하지 않습니다. 작업 추적기에서 작업을 볼 수 있지만 실패했습니다. 응용 프로그램 application_1492641052989_0008이 (가) exitCode로 종료 된 appattempt_1492641052989_0008_000002의 AM 컨테이너 때문에 2 번 실패했습니다. -1000 자세한 출력을 보려면 응용 프로그램 추적 페이지를 확인하십시오. http : //xxxx.internal : 8088/cluster/app/application_xxx 진단 : 파일 file :/home/hadoop/samza/hello-samza/target/hello-samza-0.13.0-dist.tar.gz가 존재하지 않습니다. – dvshekar

@dvshekar 희망을 찾았 으면합니다. 그러나 파일 경로가 잘못된 경우 궁금. "file : //"이어야합니까? 그냥 추측. 일반적으로 Yarn에서 예외가 발생하면 RM이 리소스 (이 경우 작업 패키지)를 지역화 할 수 없음을 의미합니다. –

나는 file : //이 내 편이라 생각했다. 나는 모든 노드에서 파일을 복제하려고 시도했는데 오류를 제거했다고 생각합니다. 새로운 오류 만 표시되기 시작했습니다. 하지만, 그 파일은 hadoop hdfs에 있어야한다고 생각합니다. 나는 그것을 시도했지만 여전히 나에게 약간의 오류를 주었다. – dvshekar

답변

관련 문제