airflow

0열

1답변

제 경우에는 dag 경로 아래에 dag 파일을 작성합니다. 기류 스케줄러를 시작하면 dag 파일을 성공적으로로드합니다. 그러나 dag 파일을 변경 한 후 dag 파일을로드하는 것이 좋습니다. 재시작 스케줄러없이 dag 파일을로드 할 수있는 제안이 있습니까?

1열

1답변

공기 흐름 : 실행 DAG 매 순간

안녕하세요 내 DAG 매개 변수가 너무 default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': datetime(2017, 9, 26), 'schedule_interval': "* * * * *", 'email': ['[email protected]'], 'email_on_fa

4열

2답변

공기 흐름 스케줄러를 데몬 프로세스로 실행하는 문제

LocalExecutor을 사용하여 공기 흐름 1.8.0을 실행하는 EC2 인스턴스가 있습니다. 워드 프로세서 당 I는 다음과 같은 두 가지 명령 중 하나가 데몬 모드에서 스케줄러를 제기 할 것으로 예상했을 것이다 : airflow scheduler --daemon --num_runs=20 또는 airflow scheduler --daemon=True --

0열

1답변

공기 흐름 HttpSensor 나는 다음과 같은 코드를 사용하여 공기 흐름에 HttpSensor을 만들려고 해요

작동하지 않습니다 : wait_to_launch = HttpSensor( task_id="wait-to-launch", endpoint='http://' + socket.gethostname() + ":8500/v1/kv/launch-cluster?raw", response_check=lambda response: True if '

0열

1답변

실행중인 인스턴스의 모든 작업이 완료 될 때까지 다른 인스턴스가 인스턴스화되지 않도록 다중 운영자 dag를 설정하는 방법은 무엇입니까?

공기 흐름 구현시 다중 작업자 데이터가 있습니다. 는 DAG-A 운영자 T1, T2를 가지고 말을 순차적으로 실행하도록 설정되어 T3을 수 있습니다 (예. T2는 T1에 의존하고, T3는 T2에 따라 달라집니다.) task_2.set_upstream(task_1) task_3.set_upstream(task_2) 것은 우리는 때 보험에 가입 할 필요가

1열

1답변

기류 XCom은 템플릿 내부에 변수를 전송합니다.

저는 변수 내용을 bash 스크립트에서 Xcom으로 보내려고했습니다. 그러나, 나는 그것에 실패하고있다. test_bash = """ export test_val='123' {{ ti.xcom_push(key='1',value=test_val) }} echo $test_val """ bash_tash = BashOperator( task_

0열

1답변

재시작 된 Airflow TaskInstance에서 상태 복구

제 3 자 서비스에서 작업을 시작한 후 해당 작업의 진행을 모니터링하는 기류 운영자가 있습니다. 공기 흐름 노동자가 (일반적으로 인해 코드 배포에) 다시 시작되면 코드에서이 작업의 인스턴스가 실행 중일 때, 내가 할 수있는 그 작업의 다시 시작된 예를 들어 싶습니다 def execute(self, context): external_id = star

0열

1답변

주기적으로 실행해서는 안되는 기류 DAG/작업을 정의하는 방법

목표는 간단합니다. 주기적으로 실행해서는 안되지만 관리자가 "실행"버튼을 누를 때만 수동 작업을위한 DAG를 만들어야합니다. 이상적으로 DAG를 "일시 중지 해제"및 "일시 중지"로 전환 할 필요가 없습니다 (누군가 일시 중지하는 것을 잊지 않을 것임을 알고 있음). 지금까지 나는 단지 schedule_interval="0 0 30 2 *" (2 월 30

0열

1답변

Airflow SimpleHttpOperator에서 응답에 액세스하는 방법 GET 요청

나는 공기 흐름을 배우고 있으며 간단한 quesiton이 있습니다. 다음은 단순히이 매우 간단 http://dog.ceo API의 일부 엔드 포인트에 두 개의 GET 요청을 만들고 있어요, 내 DAG는 공기 흐름을 테스트 할 수있는 수단으로 import airflow from airflow import DAG from airflow.operators.h

1열

1답변

DAG가 기류 내에서 실행을 마치면 XCOM 객체를 삭제하는 방법

거대한 json 파일을 XCOM에 저장하면 나중에 실행이 완료 될 필요가 없지만 Xcom 객체는 UI에서 모두 볼 수 있습니다. 데이터, 일단 DAG 실행이 완료되면 프로그래밍 방식으로 XCOM을 삭제할 수있는 방법이 있습니까? 당신은 작업 당신이 metadatadb에 DAG 실행이 완료되면 (sqllite는, PostgreSQL을, MySQL을 ..) 그