oozie-coordinator

2열

1답변

oozie 코디네이터 오류가 발생했습니다. - emr : 빈 문자열에서 경로를 생성 할 수 없습니다.

원사 클러스터에서 oozie로 코디네이터를 구성하는 데 문제가 있습니다. 작업이 콘솔에서 작업 흐름을 실행할 때 스파크 작업입니다. 시작과 실을 제대로 실행,하지만 난이 coordinator.xml에서 같은 워크 플로우를 호출 할 때이 오류가 : ERROR org.apache.spark.SparkContext - Error initializing Spark

1열

1답변

성공 파일이 aws에있을 때 oozie 작업을 트리거하는 방법 S3

oozie와 함께 HDFS 데이터 전송 작업을 수행하고 있는데, aws S3 버킷에서 사용할 수있는 데이터가있을 때마다 oozie 워크 플로 작업을 트리거해야합니다. 내 S3 버킷에있는 데이터 파일과 함께 성공 파일을 유지할 생각입니다. 그러나 확실하지 않습니다. oozie 코디네이터가 주기적으로 S3에서 성공 파일을 사용할 수 있는지 확인하는 방법을 알려

0열

1답변

oozie - 숫자가있는 oozie의 작업 또는 제어 노드를 지정할 수 없습니다.

많은 제어 및 작업 노드가있는 워크 플로우가 있습니다. 색조 브라우저에서 동작을 추적하기가 좀 쉬워 지도록, 1,2,3 등의 접두사를 노드의 이름 앞에 붙임으로써 제어 및 동작 노드의 번호를 매기려고했습니다. 는 여기에 내가 아래 오류가 발생했습니다 워크 플로우의 유효성을 검사하는 동안 워크 플로 <workflow-app name="reporting_W_e

1열

1답변

OOzie의 PySpark Job을위한 기본 클래스

나는 pySpark Job을 만들었고 spark-submission을 통해 제출할 때 완벽하게 작동합니다. 지금 내가 시도했을 때 Oozie는 실패했다. 필자는 필자가 입력 한 밭에 문제가 있음을 의심합니다. 이 필드는 Oozie의 Spark Action에 필요합니다. 로그인 표준 출력 Spark Master : local Mode : client Ma

0열

1답변

sqoop 작업 셸 스크립트가 oozie에서 병렬 실행

sqoop job을 실행하는 셸 스크립트가 있습니다. 스크립트는 다음과 같습니다. !#/bin/bash table=$1 sqoop job --exec ${table} 워크 플로에서 테이블 이름을 전달하면 sqoop 작업이 성공적으로 실행됩니다. 워크 플로우는 다음과 같습니다. <workflow-app name="Shell_script" xmlns

0열

1답변

일반적인 job.properties를 공유하여 다른 일정의 Oozie 코디네이터를 여러 개 트리거하는 방법

서로 다른 일정으로 여러 코디네이터 (약 10 명)를 제출해야하는 곳에 문제가 있으며 각기 다른 종속성이 없습니다. 예 : 매 2 시간마다 1 번, 12 시간 등). 접두어 나 접미사없이 정확히 coordinator.xml이라는 코디네이터를 사용해야한다는 제한이 있다는 것을 알았습니다 (그래서 구분할 수 없게되었습니다). 이 코드를 처리하기 위해 10 번

0열

1답변

코디네이터를 죽인 후 어떻게 oozie 워크 플로우를 실행할 수 있습니까?

나는 잠시 동안 oozie와 함께 작업 해 왔지만 코디네이터를 죽이고 싶었지만 코디네이터가 시작한 워크 플로우를 죽이고 싶지 않습니다. 왜 그렇게하고 싶습니까? 나는 내 작업이 매 15 분마다 한 번씩 실행되어야하지만 첫 번째 작업은 현재 실행중인 인스턴스에로드되는 기록 데이터와 쌓여있는 나머지 작업으로 인해 3 시간 이상 걸리는 시나리오가 있습니다. 아래

0열

1답변

oozie 코디네이터에서 동적 디렉토리 구조를 만들 수 있습니까?

이벤트 구동 oozie 코디네이터를 만들고 싶습니다. 디렉토리 경로는 정기적으로 변경됩니다. 나는 코드에서 디렉토리를 하드 코딩하고 싶지 않다. 이 작업이 시작되기 전에 쉘 스크립트를 실행하여 폴더 이름을 만들고 해당 폴더 내에 확인 파일이 있는지 확인하십시오.

2열

1답변

Oozie Coordinator - 맞춤 EL 기능

맞춤 EL 기능을 만들어서 uri-template (YEAR, MONTH와 동일)에서 사용해야합니다. 가능합니까? 이 코디네이터 영역에 oozie-site.xml에 입력하는 주요 구성은 무엇입니까?

0열

1답변

oozie, 자바 작업에 코디네이터 스케쥴러 시간을 전달하십시오.

Java 작업을 oozie하기 위해 스케쥴러 시간을 전달해야합니다. 예를 들어, 1 분의 스케줄러 시간을 설정합니다. 현재 시간은 15:45이지만 지연이나 오류가 발생하여 현재 실행중인 자바 작업 시간이 15:40 (5 분 지연)이고 Java 작업에서 실행 시간을 기록해야하므로 15.40 값을 내 값으로 전달해야합니다 Java 코드 (jar)를 인수로 사용