공기 흐름 백필 작동하지 않음

Question

공기 흐름을 사용하여 워크 플로 DAG를 실행하고 있습니다. 설정 한 시작 날짜는 2014 년 5 월 26 일이며 schedule_interval은 종료일없이 1 일이며 셀러리 실행자를 사용 중입니다. 기류는 주어진 날짜부터 시작하여 예상대로 날마다 점진적으로 내 작업을 실행하기 시작합니다.

하지만 문제는 시작일부터 16 일 동안 만 일정을 계획하고 실행 한 다음 중지하는 것입니다. 스케줄러 서비스를 다시 시작하여 다음 dags 집합을 예약하고 실행해야합니다.

dag_concurrency = 9999 
max_active_runs_per_dag = 9999 
parallellism = 9999 
celeryd_concurrency = 4 

내 요구 사항은 공기 흐름이 현재까지 시작 날짜에서 내 작업을 실행하는 것입니다,

나는 airflow.cfg 높은에서 그들을 설정 아래의 속성을 수정했지만 여전히 작동하지 않습니다 날짜. 거기에 실행할 수있는 dags의 수에 제한이있는 것처럼 보이지만 그걸 알아낼 수는 없습니다. 제발 제안 해주세요.

내 공기 흐름 버전이

Answer 1

하지 내가 바로 당신을 가지고 있다면, 당신은 다음 십육일 때까지 특정 날짜에서 매일 작업을 실행하려면 어떻게해야합니다 1.7.1.2입니까? 그렇다면 airflow.cfg과 관련이 없습니다. 게시 한 설정은 많은 DAG가있는 경우 실제로 "죽일"수 있습니다. 이는 실행할 수있는 작업 인스턴스에 관한 것입니다. 병행 예정.

나는 당신이 필요로하는 것은 시작일 및 시작일을 정의하는 것 같아요. 작업을 보유 할 DAG를 구성 할 때이 작업을 수행 할 수 있습니다. 한 가지 방법은 default_args를 정의한 다음 DAG에서 사용하는 것입니다.

default_args = { 
    'owner': 'userXX', 
    'start_date': datetime(2014, 05, 26), 
    'end_date': datetime(2014, 06, 11), 
    'email': ['mail1..','mail2...'], 
    ... 
} 

mydag = DAG(
      PARENT_ID, default_args=default_args, 
      schedule_interval="@daily", 
      user_defined_macros=user_defined_macros 
) 

_some_Operator(
       task_id='task_idxx', 
       .. other settings/jobrun... 
       dag=mydag, 

      ) 

희망이 당신의 코멘트에서 end_date``에 start_date``에 대한