airflow

5열

1답변

공기 흐름 : PythonOperator : 'ds'인수를 포함해야하는 이유는 무엇입니까?

나중에 python_callable로 사용할 함수를 정의하는 동안 'ds'가 함수의 첫 번째 인수로 포함되는 이유는 무엇입니까? 예를 들어 는 : def python_func(ds, **kwargs): pass 나는 공기 흐름 문서로보고 있지만, 어떤 설명을 찾을 수 없습니다.

0열

1답변

기류 : 오래된 런닝을 청소하거나 백필을 피하는 방법

저는 Airflow에서 새롭고 다음과 같은 문제를 겪고 있습니다. txt 파일을 처리하는 dag가있어 CSV로 변환합니다.이 설정은 입니다. one_days_ago = datetime.combine(datetime.today() - timedelta(1), datetime.min.time()) default_args = { 'owner': '

0열

2답변

Apache Airflow 스케줄러가 스케줄 시간에 DAG를 실행하지 않습니다.

DAG가 매일 특정 시간에 실행되도록 예약하면 DAG 실행이 전혀 수행되지 않습니다. 그러나 Airflow 웹 서버 및 스케줄러를 다시 시작하면 DAG가 특정 날짜의 예약 된 시간에 한 번 실행되고 다음 날부터는 실행되지 않습니다. Python 2.7.6에서 Airflow 버전 v1.7.1.3을 사용하고 있습니다. 내가 뭔가 잘못하고 from airflow

2열

1답변

공기 흐름 ETL 파이프 라인 - 기능에서 일정 날짜 사용?

파이썬 함수에서 default_args start_date를 참조 할 수 있습니까? default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': datetime(2016, 11, 21), 'email': ['[email protected]'],

1열

1답변

Python에서 DAG의 병렬 실시간 스케줄링

여러 범주에 대해 병렬로 Dag (기류)를 실행/인스턴스화하는 방법은 무엇입니까? 예를 들어 : 실행 : I 내가 (parallet에서) 다른 Batchnames에 평행으로 실행하는 DAG를 예약 할 수있는 방법 정기적 실행 기류 (DAG)를 가지고 배치 1의 dag (args의 배치 이름 전달) 배치 2의 dag (args의 배치 이름 전달)는 과 병행하

0열

1답변

공기 흐름 xcom_pull 프레임이 끝나기 전에 피클이 고갈니다.

이전에 xcom_push'ed xcom_push'의 HTTP 응답에서 xcom_pull을 수행하고 pickle exhausted before end of frame을 수신합니다. http 응답이 짧은 사전이되는 경우이 오류가 발생하지 않습니다. 이것은 xcom_pull/push'ed가 할 수있는 것에 대한 제한 사항입니까?

0열

1답변

기류 - BashOperator : "DAG 실행이 DAG에 대해 교착 상태가 됨 : .."오류가 발생했습니다.

기류 흐름 스케줄러를 좋아하지만 간단한 DAG를 실행하는 중에 오류가 발생했습니다. "{jobs.py:538} 오류 - Dag 실행 DAG : TEST_SCHEDULER_DAG "에 대해 교착 상태입니다. 이것은 새로운 공기 흐름 설치 (v1.7.1.3)이며 다른 예약 된 dag 파일도 정상적으로 실행할 수있었습니다. 내 환경은 Linux (우분투 16.0

1열

1답변

공기 흐름 - 주어진 dag_id 및 run_id의 특정 task_id를 성공 또는 실패로 표시

외부로 (http 요청을 사용합니까?) dag_id 및 run_id와 관련된 특정 task_id를 성공/실패로 표시 할 수 있습니까? .. 내 작업은 외부 시스템에 대한 장기 실행 작업이며 우리는 아마 몇 천 작업을 동시에 실행을 가질 수 있기 때문에 나는 .. 내 작업 상태를 찾을 수있는 시스템을 폴링하지 않으려는 이상적으로 내 작업은 작업이 완료되면 는

1열

1답변

공기 흐름의 현재 작업을 조절하는 방법?

저는 Airflow의 초보자입니다. 그러나 현재 저는 Airflow에서 현재 작업을 조절하는 방법에 대해 연구하고 있습니다. Airflow에서 동시성이나 조절에 대해 조금 알고있는 사람이 있습니까? 어떤 제안이라도 도움이 될 수 있습니다. 고마워요.

2열

1답변

aiflow 최대 활성 dag 실행에 도달했습니다.

공기 흐름이 시작되면 특정 dag에 대한 dag 실행이 실행되지 않고 최대 활성 dags에 도달합니다. dag 실행 상태를 성공으로 설정 한 후에도 Scheduler는 새로 예약 된 작업을 실행 상태로 이동하지 않는 것처럼 보입니다. 모든 활성 dag 실행은 '실행 중'상태로 유지됩니다. 이것은 일부 dags에 대해서만 발생합니다. 누군가가 이것에 도움을받