Apache Airflow에서 DAG의 이름을 바꾸는 방법

Question

지난 며칠 동안 Airflow를 ETL 워크 플로의 대체 도구로 평가했으며 Airflow에서 DAG의 이름이 바뀌면 흥미로운 동작을 발견했습니다. 나는 파일의 DAG가 hello_world.py

dag = DAG('hello_world', description='Simple DAG', 
      schedule_interval='0 12 * * *', 
      start_date=datetime(2017, 11, 1), catchup=True) 

라고 그리고이 DAG는 11 월 10 일 실행 된 경우

, 그때 나는 단순히 이름을 변경하려는 결정 dag에서 'yet_another_hello_world'로 이동 같은 파일에 hello_world.py

dag = DAG('yet_another_hello_world', description='Simple DAG', 
      schedule_interval='0 12 * * *', 
      start_date=datetime(2017, 11, 1), catchup=True) 

이는 공기 흐름에 배치되면 단순히 작업의 이름 변경을하는 임, 그것은 자동으로 선택하고로 등록 등 비즈니스 로직을 변경하지 새 작업의 DAG보기

• 그래서 hello_world
• yet_another_hello_world

에서 볼 이제이 작업이 너무

Becceptuse catchup = True DAG 정의에서 스케줄러가 자동으로이 변경 사항을 확인하고 새 작업을 등록합니다. yet_another_hello_world 그런 다음 11 월 1 일에 누락 된 실행을 백필합니다. 또한 기존의 hello_world 작업을 그대로 남겨 둡니다.

궁극적으로이 이름을 기존 작업의 이름으로 바꾸고 이전 hello_world 작업을 보존하지 않기를 바랍니다. 이것이 단순한 이름 바꾸기라는 것을 기류에 표시하는 방법이 있습니까?

Answer 1

dag 이름, schedule_interval 또는 start_date를 변경하려는 경우 항상 새로운 dag 파일을 만드는 것이 좋습니다.