airflow

3열

1답변

공기 흐름 설치시 Python Operator Example을 실행하려고했습니다. 설치시 동일한 컴퓨터에 웹 서버, 스케줄러 및 작업자가 배포되고 PytohnOperator가 아닌 모든 작업에 대해 불만없이 실행됩니다. 모듈이 "unusual_prefix_ *"모듈을 가져올 수 없다는 불평에 따라 작업이 실패합니다. 여기서 *는 DAG가 포함 된 파일의 이

3열

2답변

공기 흐름 비단뱀 클라이언트

일부 응용 프로그램이 실행 중이며 공기 흐름을 사용하기를 원합니다. 설명서에서 DAG를 시작하는 유일한 방법은 명령 줄을 사용하는 것입니다. 사실입니까? 예를 들어 플라스크 서버가 실행 중이며 공기 흐름에 의해 제어되는 워크 플로를 시작하려고합니다. 우리는 어떻게 이것을 할 수 있습니까? 예를 들어 트리거 할 수있는 API가 있습니까? "이제 매개 변수 x

4열

2답변

각 Airflow DAG마다 다른 실행 프로그램을 설정할 수 있습니까?

기존 기류 서버에 다른 DAG를 추가하려고합니다. 서버는 현재 LocalExecutor를 사용하고 있지만 DAG에서 CeleryExecutor를 사용할 수 있습니다. 이 구성 파일처럼 보인다 airflow.cfg만을 허용 한 집행 : # The executor class that airflow should use. Choices include # Sequ

0열

1답변

Airflow의 Executor를 LocalExecutor에서 CeleryExecutor로 업그레이드 할시기는 언제입니까?

현재 LocalExecutor를 사용하여 여러 개의 Airflow DAG를 실행 중입니다. 정상적으로 작동합니다. 내 서버에는 많은 리소스가 있습니다. 나는 더 큰 프로젝트를 위해 새로운 DAG를 추가하려하고 LocalExecutor에서 CeleryExecutor 로의 전환을 고려하고있다. 내 질문은 CeleryExecutor로 전환해야하는 몇 가지 징후는

1열

1답변

기류가 최신 기동을 백필하지 않음

어떤 이유로 기류가 주간 일정 간격으로 최신 기동을 실행하지 않는 것 같습니다. 현재 날짜 : $ date $ Tue Aug 9 17:09:55 UTC 2016 DAG : 스케줄러는 7 백필한다으로 from datetime import datetime from datetime import timedelta from airflow import DA

14열

2답변

공기 흐름 initdb, ImportError : 이름을 가져올 수 없습니다. HiveOperator

최근에 내 워크 플로에 airflow을 설치했습니다. airflow initdb 다음과 같은 오류 반환 : 내 프로젝트를 만드는 동안, 나는 다음과 같은 명령을 실행 내가 airflow[hive], pyhs2를 설치하라고 제안 웹에 대한 몇 가지 유사한 문제를 확인 [2016-08-15 11:17:00,314] {__init__.py:36} INFO -

1열

1답변

EMR이 공기 흐름을 부트 스트랩하지 못했습니다.

공기 흐름을 실행하는 데 환경을 제공하기 위해 bash를 만들고 있지만 어떤 이유로 든 스크립트가 제대로 작동하지 않습니다. EMR을 먼저 제공 한 후 스크립트를 실행해도 문제가 없습니다. 그러나 스크립트를 사용하여 사용자 지정 활동을 실행하면 작동하지 않습니다. sudo와 같이 실행되도록 명령을 변경하려고했지만 여전히 작동하지 않습니다. #!/bin/ba

0열

1답변

Web-UI에서 DAG가 표시되지 않습니다.

Airflow을 처음 사용합니다. 나는 튜토리얼을 읽고 다음 코드를 작성하고있다. from airflow import DAG from airflow.operators.python_operator import PythonOperator from datetime import datetime, timedelta from models.correctness_p

1열

1답변

기류 재시작이 현재 실행중인 작업에 영향을 줍니까?

이것은 평범한 질문처럼 보였으 나 단지 안전한쪽으로 가기 위해 현재 실행중인 작업에 기류 서비스를 다시 시작하면 어떤 영향이 있습니까?

0열

1답변

공기 흐름과 cron - 5 분 실행시 스케줄링이 작동하지 않습니다.

공기 흐름과 cron 실행이 매우 혼란 스럽습니다. 나는 지금부터 5 분마다 cron을 시작하고 싶다. 복잡한 dag를 만드는 것은 쉽습니다. docs에 근거를 두는 cron를 달리기의 논리를 알아내는 것은이지 않습니다. 아래 코드를 실행하면 어떻게됩니까? 초를 실행하면 아래와 같이 인쇄됩니다. 1 2016-08-26 17:17:01.584360 2 20