oozie

0열

1답변

oozie는 워크 플로우 시작시 준비 단계 (삭제와 같은)를 한 번 실행합니까? 주어진 동작이 "호출 된 적이없는"경우에도 모두 준비 단계를 실행합니까? 나는 그것이 내 데이터 폴더 중 일부를 삭제하지만 필자는 준비 단계가 지정된 곳에서 작업을 호출하지 않은 것을 경험합니다. 그리고 그것은 (준비 단계가 없었던) 첫 번째 작업이 호출 된 직후 삭제 된 것

0열

1답변

jar 파일을 사용하여 oozie에서 hadoop 작업 실행

mysql에 데이터를 읽고 쓰는 sqoop 작업이있는 jar 파일이 있습니다. oozie 워크 플로를 사용하여 jar를 실행하고 아래 명령은 jar를 실행하는 명령입니다. yarn jar aa-datalake.jar root root Orders avro aa-dl-rawzone 이 경우 어떤 작업을 수행해야합니까?

1열

1답변

클라우 데라 오류 -java.lang.NoSuchFieldError : 내 집에 일이 사방 검색

완료를이 필드에 액세스하는 동안 IS_SECURITY_ENABLED 그러나 CDH 소포가 충돌 단지를 포함 java.lang.NoSuchFieldError: IS_SECURITY_ENABLED 어떤 해결책 (JSP-API를 찾을 수 없습니다 -2.1-6.1.14.jar, jasper-runtime-5.5.23.jar). jsp-api-2.1-6.1.14.j

0열

1답변

Oozie 워크 플로 스키마 오류

Hue/Oozie를 사용하여 작업 흐름을 만드는 프로젝트를 진행하고 있습니다. 유사한 OozieClientException: org.apache.oozie.DagEngineException: E0701: XML schema error, cvc-complex-type.2.4.a: Invalid content was found starting with elem

0열

1답변

쉘 스크립트 인자를 전달하는 방법

에서 데이터를 가져 오기위한 쉘 스크립트가 있습니다. 즉, sqoop 쉘 스크립트입니다. sqoop 가져 오기 작업을 예약하려면 oozie을 사용하고 싶습니다. 스크립트는 내가 다른 .sh 파일에 모든 인수를 다음 sqoop query sqoop import --connect ${domain}:${port}/${database} --username ${us

2열

1답변

Oozie-FAILED : SemanticException [오류 10072] : 데이터베이스가 존재하지 않습니다. testnamespace

Hive 쿼리를 사용하여 Oozie 워크 플로를 실행하는 중 오류가 발생합니다. 다음은 워크 플로우를 <workflow-app xmlns='uri:oozie:workflow:0.5' name='reporting_W_errorAuditHiveQueryExe'> <start to="hive_report_fork"/> <fork name="hive_repor

0열

1답변

o3 작업 흐름을 사용하는 s3 서버 측 암호화

s3 버킷에 데이터를 쓰는 sqoop 작업이 있습니다. 명령 줄에서이 작업을 실행하면 s3 파일이 암호화됩니다. 그러나 oozie 워크 플로를 사용하여 sqoop 작업을 실행하기 위해 동일한 jar 파일을 사용하는 경우 데이터를 s3으로 푸시하지만 암호화가 발생하지 않습니다. 다음은 내 oozie 워크 플로입니다. <java> <job-track

0열

1답변

ozzie에서 하이브 컨텍스트를 사용하지 않는 스파크 작업

우리 파이프 라인 중 하나에서 spark (java)를 사용하여 집계를 수행하고 있으며 oozie를 사용하여 조정합니다. 이 파이프 라인은 집계 된 데이터를 다음 행을 사용하여 ORC 파일에 씁니다. HiveContext hc = new HiveContext(sc); DataFrame modifiedFrame = hc.createDataFrame(aggr

1열

2답변

Oozie-- 자바 : 발견되지 명령 - 쉘 액션

내가 Oozie를 통해 쉘 스크립트에서 자바 프로그램을 실행하고 나는 가장자리 노드 I에서 쉘 스크립트를 실행하면 나는 아래의 오류 java: command not found 를 얻을 어떤 문제도 발견하지 못하고 java 클래스는 아무런 오류없이 실행되며 원하는 결과도 얻습니다. 그러나 java 명령을 실행하는 데 실패한 것은 오지 작업입니다. oozi

0열

2답변

Oazie 워크 플로우에서 spark 어플리케이션보고가있는 메모리가 부족합니다.

spark 프로그램을 사용하여 Oozie 워크 플로를 단일 단계로 실행하려고했습니다. 내가 성공적으로 실행 항아리 사용했습니다 스파크를 제출 또는 스파크 쉘 (같은 코드) : spark-submit --packages com.databricks:spark-csv_2.10:1.5.0 --master yarn-client --class "SimpleApp" /