Hadoop 2.x로 Hadoop 스트리밍 작업을 제출하고 실행 기록을 확인하는 방법

Question

Hadoop에 초보자입니다. Hadoop 1.X에서는 마스터 노드에서 하프 스트리밍 작업을 제출하고 namenode 웹에서 결과와 실행 시간을 확인할 수 있습니다.

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \ 
-input myInputDirs \ 
-output myOutputDir \ 
-mapper /bin/cat \ 
-reducer /bin/wc 

그러나 하둡 2.X에서, 작업 추적기를 제거 :

하둡 1.X에서 하둡 스트리밍을위한 샘플 코드는 다음과 같습니다. Hadoop 2.X에서 동일한 기능을 사용하려면 어떻게해야합니까?

Answer 1

하둡 2.0에서는 여러 가지 방법으로

1

)는 ResourceManager UI ResourceMnagerhostname에서 작업보기에서 작업을 볼 수 있습니다) 8088/클러스터
2 HUE에서 작업보기 - HUEServerHostname.com:8888/jobbrowser을/작업이 완료되면 커맨드 라인()

사용으로부터
3)

일반 옵션 은

실 로그 -applicationId [OPTIONS] -appOwner AppOwner (현재 사용자로 간주 I F 지정) -containerId ContainerId (노드 주소가 지정되면 포맷 노드 이름에) -nodeAddress NodeAddress를 지정해야하지 : 방사 로그 -applicationId application_1414530900704_0005 : 컨테이너 ID가 지정하면 포트 ( 예)를 지정해야