airflow

1열

1답변

로컬 파일에 액세스 할 수 없습니다 : root_folder - file.conf - models - __init__.py - model1.py - airflow - dags - dag1.py 그래서 위의 경우에 dag1 수입 model1. 이렇게하면 models/__init__.py이 f

2열

1답변

공기 흐름이있는 다른 컴퓨터에서 작업 예약

우분투 원격 서버에서 Postgres 데이터베이스와 함께 기류를 성공적으로 설정했습니다. 데이터웨어 하우스 (별도의 서버)에 연결하여 작업으로 쿼리를 쉽게 발행 할 수있었습니다. 이는 Airflow가 설치된 서버가 실제로 쿼리를 실행했기 때문에 간단했습니다. 지금은 Airflow를 테스트하고 있으므로 상당히 작고 전력이 적은 서버에 설치됩니다. Window

3열

1답변

Airflow에서 매개 변수를 사용하는 예는 무엇입니까?

자주 다운로드하는 파일의 파일 이름에 날짜가 있습니다. csat_surveys_2017_03_05.csv 03062017_roster.csv 내 코드는이 코드를 개별적으로 처리합니다. 파일 이름을 추가 존재한다 예상되는 날짜와 (파일 이름 슬라이스 기준) 처리 된 파일 목록에서 날짜 (일부 날짜가 현재 날짜까지 범위) 내가 처리 할 각 파일에 대해 비

0열

1답변

Airflow Docker 배치 : Start_date + schedule_interval 후 작업이 실행되지 않음

Airflow를 처음 사용합니다. 스케줄에 대한 Airflow 문서의 모든 기사를 읽은 것 같지만 start_date + schedule_interval 이후 (즉, 작업 인스턴스 없음)에 DAG가 계속 실행되지 않는 것으로 보입니다. 나는 도커를 사용하고있다. 나는 이것이 튜토리얼 코드를 사용할 때가 아니더라도 Dags를 스케줄하는 명령이 빠져 있다는 것

1열

1답변

`airflow scheduler`를 실행하면 33 개의 스케줄러 프로세스가 시작됩니다.

MySQL 백엔드와 함께 LocalExecutor을 사용할 때 airflow scheduler을 내 Centos 6 상자에서 실행하면 33 개의 스케줄러 프로세스가 생성됩니다. deploy 55362 13.5 1.8 574224 73272 ? Sl 18:59 7:42 /usr/local/bin/python2.7 /usr/local/bin/airflow sc

2열

1답변

Windows PyCharm의 공기 흐름 DAG 개발

PyCharm이 설치된 Windows 바탕 화면에서 기류 기반 응용 프로그램 작업 영역을 설정하려고합니다. 파이썬 2.7 PyCharm이 설치되어있어 Project Interpreter에도 기류가 추가되었습니다. 매우 기본 예제를 https://pythonhosted.org/airflow/tutorial.html에서 설정하려고했습니다. 파이썬 스크립트 (t

1열

1답변

기류 작업으로 여러 이전 작업을 참조 할 수 있습니까?

독립적으로 완료 할 수있는 여러 개의 업스트림 작업을 완료해야하는 작업이있을 수 있습니까? download_fcr ->process_fcr ->load_fcr download_survey ->process_survey는 ->load_survey create_dashboard이 필요합니다 load_fcr a load_survey를 성공적으로 완료하십시오. '

0열

2답변

Hiveconf/hivevar : 변수 이름에 점 ('.')을 사용할 수 있습니까?

hiveconf 변수의 이름에 점을 사용할 수 있습니까? documentation의 모든 예제는 a과 같은 간단한 변수 이름을 표시합니다. 예 경우 : 내가 HQL 스크립트에서 참조 어떻게 ? select ${hiveconf:airflow.ctx.dag.dag_id} as dag_id;은 구문 오류를 발생시킵니다 (${hiveconf:abcd}은 ok입니다

3열

1답변

기류 DAG의 동적 작업 생성

기류를 사용하여 클라이언트 보고서를 생성하고 싶습니다. 모든 DAG가 모든 클라이언트를 반복하고 보고서를 생성하는 작업을 시작하고 싶습니다. 클라이언트 목록은 DAG의 첫 번째 작업에 의해 수집되고 하드 코드 될 수 없습니다. 기본적으로 나는 파이썬 연산자에서 데이터베이스 훅을 사용하여 목록을 생성하는 작업을 가지고 있습니다. 그런 다음 목록의 각 항목에

3열

2답변

공기 흐름의 여러 DAGS에서 단일 작업을 사용할 수 있습니까?

DAG_1 및 DAG_2에 사용하려는 task_a가 있습니다. 공기 흐름이 가능합니까? task_a = SomeOperator( task_id='some_id', bash_command='some_command', #instead of just dag= DAG_1 # I want to assign this task to multiple dags #d