airflow

0열

1답변

공기 흐름 DAG에 작업이 있습니다. 세 가지 하위 작업이 있습니다. 안타깝게도이 상위 작업이 성공할 경우가 있지만 세 자녀 중 두 개는 실패합니다 (어린이 재 시도가 문제를 해결하지는 못합니다). (실패하지 않았더라도) 부모가 재 시도해야합니다. 그래서 dag의 그래프보기에 충실히 가서이 상위 작업과 모든 하위 작업 (+ 재귀)을 '삭제'합니다. 내가 이

0열

1답변

공기 흐름에서 DAG를 실행하는 동안 "신호 처리 중"메시지가 표시됩니다.

다음과 같이 DAG를 구성한 샘플 DAG를 만들었습니다. default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': one_min_ago, 'email': ['[email protected]'], 'email_on_failure':

0열

1답변

Apache Airflow SFTP를 통해 파일을 가져올 수 없습니다.

Airflow v1.9rc5의 sftp_operator를 사용하고 있습니다. 나는 SFTP를 통해 두 개의 파일을 가져 오기 위해 노력하고있어하지만 난 받고 있어요 : ERROR - 호스트에 연결 실패 : 192.168.56.101, 오류 : 자료 없음 인증 방법 내가 접속 ID이에 설정 한 원격 호스트. 또한 SFTP 명령을 사용하여 BASH의 연결을 확

2열

1답변

어느 것이 Apache Oozie 또는 Apache Airflow를 선택합니까? 비교가 필요합니다

저는 작업 스케줄러에 익숙하지 않고 큰 데이터 클러스터에서 작업을 실행하기 위해 하나를 찾고있었습니다. 나는 선택 가능한 것들과 꽤 혼동을 느꼈다. Oozie는 TWS, Autosys 등과 같은 기존의 것보다 많은 제한이 있음을 발견했습니다. 공기 흐름과 장단점에 대한 비교가 필요합니다. 감사합니다.

2열

1답변

지속적으로 공기 흐름 DAG 실행을 예약하십시오.

루프에서 공기 흐름 DAG를 실행하는 방법이 있습니까? 사이클을 만들려고 할 때 (마지막 구성 요소를 마지막 부품의 상류로 연결) DAG에서 사이클이 감지되었습니다. 잘못된 작업 : ... " 일반적으로 3 개의 BashOperator 구성 요소가 짧은 흐름으로 나타납니다. (마지막 구성 요소에서 첫 번째 구성 요소로의 어떠한 입출력 전달도없이) 지속적으로

5열

1답변

공기 흐름 - EMR 운영자의 작업 인스턴스

공기 흐름에서 나는 job_flow_id을 내 emr-steps 중 하나에 전달해야한다는 문제에 직면하고 있습니다. 운영자로부터 job_flow_id을 검색 할 수 있지만 클러스터에 제출할 단계를 만들 때 task_instance 값이 올바르지 않습니다. def issue_step(name, args): return [ {

0열

1답변

공기 흐름 - depends_on_past 및 trigger_rule이 동일합니까?

에서 airflow.models.BaseOperator. depends_on_past=False 및 trigger_rule=u'all_success' 문서 depends_on_past (BOOL)에 따르면 - true로 설정하면 이전 작업의 일정에 의존하는 것은 성공하는 동안, 작업 인스턴스가 순차적으로 실행됩니다 : 당신은 두 개의 기본 매개 변수가 .

1열

2답변

공기 흐름 DAG가 하루에 한 번씩 실행되는지 어떻게 확인할 수 있습니까?

한 번에 하루를 실행하도록 DAG를 설정하려고합니다. 어떻게해야합니까? "depends on past = True"를 시도했지만 이후에 각 작업이 실행되는지 만 확인합니다. 내가 원하는 것은 X 일 이후에 모든 일이 X + 1 일에 시작할 수있는 DAG 전에 실행된다는 것입니다.

0열

1답변

공기 흐름 CI 설정 DAG

공기 흐름 DAG를 git repo에 푸시 한 다음 jenkins 작업을 Webhook을 사용하여 실행하려면 공기 흐름을 위해 새 DAG를 선택하려면 어떻게해야합니까? git repo에서 dagbag를 채울 유틸리티/연산자가 있습니까? 그렇지 않은 경우 다른 사람이 새 DAG를 사용하여 dagbags를 채우는 방법을 공유 할 수 있습니까?

0열

1답변

Apache Airflow DAG가 로컬 모듈을 가져올 수 없습니다.

아파치 에어 플로우 DAG 정의 파일로 모듈을 가져 오는 방법을 이해하지 못하는 것 같습니다. 예를 들어, 비슷한 설정으로 작업을 선언하는 라이브러리를 만들 수 있기를 원합니다. 다음은이 문제를 재현 한 가장 간단한 예입니다. 모듈을 가져 와서 해당 모듈에서 정의를 실행하기 위해 에어 가이드 (https://airflow.apache.org/tutorial