oozie

2열

1답변

oozie 워크 플로 XML에서 전체 hadoop 작업 로그에 액세스 할 수 있습니까?

oemie #emailAction #hadoop oozie 워크 플로우를 사용하여 hadoop pig 작업을 실행 중입니다. 어떻게 성공/실패 전자 메일 작업에서 사용할 수 있도록 워크 플로 XML에서 hadoop 작업의 전체 로그에 액세스 할 수 있습니까? 감사 내가 이메일에 필요한 샘플 로그 : 나는 다음을 수행 할 추천 질문과 의견을 바탕으로 2016

0열

1답변

hdfs 디렉토리에있는 새 파일의 디렉토리를 모니터링 할 수 있습니까?

내 hadoop 클러스터에서 다음 워크 플로를 수행해야합니다. * _A.csv와 * _B.csv 모두 복사 * _A : 새로운 파일이 HDFS 디렉토리에 추가됩니다/수출/(여러 회) 파일은 두 가지 형식에 있습니다. 에 CSV/하이브/dumptable_a/ 모두 복사 * _B.csv에/하이브/dumptable_b/ 실행 하이브 삽입 쿼리 dumptable_

0열

1답변

Oozie의 Sqoop 워크 플로우에서 HiveConf를로드 할 수 없습니다.

Oozie에서 MySQL의 하이브 테이블로 Sqoop 워크 플로우를 생성했습니다. 내가 터미널에서 Sqoop을 작업을 실행하면 잘 실행하고 데이터가 성공적으로 하이브 테이블에 삽입했다,하지만 난 Oozie 내부 작업을 넣어 그것을 실행하는 경우, 그것은 나에게 오류 제공 : Could not load org.apache.hadoop.hive.conf.Hiv

1열

1답변

다른 작업의 성공 여부에 따라 어떻게 오지 작업을 쓸 수 있습니까?

내 시나리오 : 쉘 스크립트를 통해 실행중인 spark 제출이 있습니다.이 스파크 작업은 oracle에서 하이브로 7 개의 테이블을 가져옵니다. 오라클에서 가져온 데이터를 기반으로 .dat 파일을 생성하는 다른 스크립트가 있습니다. 내 질문은 여기에 있습니다. 첫 번째 작업이 성공하면 두 번째 작업 만 실행해야합니다. 질문에 의문이 있으면 물어보십시오. 당

1열

1답변

oozi java workflow에 log4j를 활성화/설정하는 방법은 무엇입니까?

Oozie Java 워크 플로를 실행 중입니다. jar 파일은 HDFS에 있습니다. 응용 프로그램에 로깅 기능을 추가하고 싶습니다. 아무도 그것을하는 방법을 알고 있습니까? "log4j.properties"파일은 어디에 두어야합니까? 로그를 HDFS의 특정 위치로 출력하도록 log4j를 만들려면 어떻게해야합니까?

0열

1답변

일단 클러스터가 종료되면 색조의 oozie/sqoop 로그를 EMR에서 복원하는 방법은 무엇입니까?

우리는 하루 프로세스 데이터에서 몇 시간 동안 작동 할 EMR을 사용할 계획이며 처리가 완료되면 클러스터가 종료됩니다. 일반적인 cloudera 설치 (또는 Hortonworks)에서는 오지 작업을 실행할 때 색조의 로그를 명확하게 볼 수 있으며 어딘가에 저장됩니다. EMR에서 이러한 로그를 s3에 저장할 수있는 방법이 있으며 새 클러스터가 실행되면 s3의

0열

1답변

Oozie 쉘 스크립트 작업

하나의 쉘 스크립트 script.sh가 있는데 하나의 특성 파일 script.properties가 필요합니다. 지금은 oozie를 사용하여이 스크립트를 실행하려면 ./script.sh script.properties : 는 I는이 스크립트를 실행. 어떻게 script.properties 파일을 script.sh에 전달할 수 있습니까?

0열

1답변

Oozie 공유 라이브러리 만들기

Oozie가 설치되어 실행 중입니다. 예제 워크 플로를 실행하려고하는데 공유 라이브러리를 만들어야한다는 오류가 발생했습니다. 공유 폴더를/user/{username}/share/lib 아래에 HDFS에 넣습니다. 나는 실행하면 : java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder 내가 o

1열

1답변

oozie 작업이 계속해서 계속 실행됩니다.

나는 oozie에게 매우 익숙하다. 하루에 한 번 (예 : 0 4 * * *와 같이 예정대로) 실행해야하는 오우 지 워크 플로우가 있지만 작업이 완료되면 5-6 초 내에 다시 제출됩니다. 여기 이야기는 다음과 같습니다 - 그것은 예약 된 시간에 실행되었지만합니다 (아래의 목록에서 3, 4) PARAMS의 잘못된 값으로 인해 실패했다 : ${coord:for

1열

2답변

sqoop 가져 오기를위한 Oozie 워크 플로가 Amazon emr hue에서 실패합니다.

mysql에서 하이브 시스템으로 sqoop 가져 오기를 수행하는 워크 플로우를 만들었습니다. sqoop 작업 생성을위한 My Sqoop 작업이 성공적으로 실행되지만 MySQL에서 하이브로 가져 오기 작업을 실행하려고 할 때 실패합니다. 여기에 로그를 첨부했습니다. sqoop - 하이브 가져 오기 (실패한 sqoop 작업)는 두 단계로 이루어집니다. 먼저 내