계기판을 예약 중이며 실행 중 상태이지만 작업이 트리거되지 않습니다. 공기 흐름 스케줄러 및 웹 서버가 실행 중입니다. 나는 UI에서 dag를 ON으로 토글했다. 아직도 문제를 해결할 수 없습니다. 나는 CeleryExecutor를 사용하여 SequentialExecutor로 변경하려고했지만 행운이 없습니다.
우리 시스템은 기본적으로 MS SQL Server와 함께 C# 및 Powershell 응용 프로그램을 실행하는 Windows 서버입니다. 우리는 EXE/BAT/PS1을 실행하고 DLL 기능을 호출하는 작업을 실행할 수있는 사내 WorkflowManagement 솔루션을 보유하고 있습니다. 이제 Apache Airflow가 더 나은 해결책인지 평가할 것입니다
기준이 충족되면 동시에 두 번 실행하는 대신 정확한 시간에 하루에 두 번 실행되도록 Airflow DAG를 구성/예약하는 방법을 파악하려고합니다. 같은 작업을 자정과 9시에 실행하고 싶습니다. cron을 schedule_interval에 0 0,21 * * *과 같이 추가하여 자정과 오후 9시에 매일 실행합니다. 그러나 오늘 (4 월 27 일) 실행은 어제
같은 dag 내에서 달리거나 upforretry이거나 실패한 것처럼 작업의 상태가 필요합니다. 내가 어떤 출력을 가지고 없지만 그래서 내가 Auto = PythonOperator(
task_id='test_sleep',
python_callable=execute_on_emr,
op_kwargs={'cmd':'python /home/
그래서 Apache Airflow의 기본 사항을 파악하고 내 컴퓨터에서 dags/tasks를 실행할 수 있습니다 (너무 매끄 럽습니다!). 그러나 내 컴퓨터가 꺼져있을 때 실행할 수 있기를 원합니다. 따라서 Lightsail 인스턴스를 5 달러 씩 사서 pip install airflow에 기류를 설치하려고했습니다. 계속 출력됩니다. 그것은 명령에 뭔가를
공기 흐름 웹 서버에 Broken DAG: [<path/to/dag>] <error>과 같은 오류가 표시되면 이러한 예외에 대한 전체 스택 추적을 어디에서 어떻게 찾을 수 있습니까? 내가이 위치 시도 : /var/log/airflow/webserver을 - 실행의 기간에 어떤 로그 없었다, 다른 로그는 바이너리에 있었다 strings과 디코딩 유용한 정보를
집 터미널을 통해 airflow webserver을 실행하면 http://localhost:8080으로 이동하여 UI 인터페이스를 볼 수 있습니다. 나는 이것을 할 수있다. 그러나 저는 가상의 Amazon Lightsail 인스턴스를 가지고 있습니다. 그런 다음 가상 환경으로 건너 가서 airflow webserver 명령을 실행합니다. 이 작업은 성공적으
스파크 클러스터로 스파크 제출 명령으로 끝나는 몇 개의 데이지를 설정했습니다. 차이가 나는 경우 클러스터 모드를 사용하고 있습니다. 어쨌든 내 코드는 작동하지만 스파크 작업이 실패하면 Airflow UI에서 알 필요가 없다는 것을 깨달았습니다. 클러스터 모드를 통해 작업을 트리거하면 기류가 작업자를 사용 가능한 작업자에게 전달하므로 기류는 스파크 작업에 대
{{ds}} 변수에있는 실행 날짜를 전달하고 싶습니다. 그러나 실행 날짜가없는 함수를 통해 전달했습니다. def get_spark_step_2(date):
#logic in here
return step
exec_date = '{{ ds }}'
step_adder2 = EmrAddStepsOperator(
task_id=