Ozzie 워크 플로 예제

Question

Oozie를 이해하는 데 문제가 있습니다. 나는 그것을 달리고있다 그러나 나가 발견 한 문서 및보기는 명확하지 않다. 누구든지 나를 도와 줄 수 있습니까?

나는 각각의 기존 출력 디렉토리와 로그를 삭제하기 위해 4 개 또는 5 개의 스트림 스트리밍 작업을 보유하고 있습니다.

hadoop fs -rm -r /user/vm/video-output /tmp/logs/vm/logs/

이 작업을 실행, 예를 들어,

hadoop jar ~/run/hadoop-*streaming*.jar -files videoapp 
-cacheArchive hdfs://localhost:54310/user/vm/input/video/video.tar.gz#video 
-cacheFile hdfs://localhost:54310/user/vm/vqatsAx#vqatsAx 
-cacheFile hdfs://localhost:54310/user/vm/ffmpeg#ffmpeg 
-input /user/vm/input/video -output /user/vm/video-output 
-mapper videoapp/video.py -cmdenv VIDEO_DIR=video 

다음이 완료되면 (어떻게 확인합니까? part-r-0000이 생성됩니까?), 다음 것을 실행하십시오. 이 직업들은 HBase에서 읽고 쓰고 있습니다. 나는 기본 윤곽 및 약간 포인터 this sort of thing를 다만 좋아할 것입니다. 티아 !!

Answer 1

HDFS 디렉토리 또는 로그를 삭제하려면 Oozie HDFS 작업을 사용할 수 있습니다. 여기에 대한 오지 문서 및 예제는 oozie HDFS action입니다. 또는 예가 아래에 나와 있습니다. workflow.xml에서 필요한 여러 가지 작업을 구성 할 수 있습니다.

<workflow-app name="sample-wf" xmlns="uri:oozie:workflow:0.1"> 
    ... 
    <action name="hdfscommands"> 
     <fs> 
      <delete path='hdfs://foo:9000/usr/tucu/temp-data'/> 
      <mkdir path='archives/${wf:id()}'/> 
      <move source='${jobInput}' target='archives/${wf:id()}/processed-input'/> 
      <chmod path='${jobOutput}' permissions='-rwxrw-rw-' dir-files='true'/> 
     </fs> 
     <ok to="myotherjob"/> 
     <error to="errorcleanup"/> 
    </action> 
    ... 
</workflow-app>