백엔드는 redis이지만 공기 흐름 패키지에 포함 된 airflow.cfg 파일은 mysql을 CeleryExecutor의 백엔드로 사용한 경우의 예제만을 제공합니다. 기본적으로 다음의 sql_alchemy_conn을 airflow.cfg의 redis 백엔드로 설정/바꾸는 방법을 잘 모릅니다. sql_alchemy_conn = sqlite:////Users
동적으로 작업을 추가 한 다음 워크 플로를 만들었습니다. 그러나 기류는 Task, Join 및 QT 개의 노드를 Dag에 추가 할 수 없습니다. 그래프 표현에서 나는 START과 END 노드 만 볼 수 있습니다. 내가 여기서 잘못하고있는 것이 있습니까? 감사합니다. dag = DAG(
'ddl_ver1',
default_args=defaul
다른 AWS 기계에서 기류 서버 및 작업자를 실행 중입니다. 내가 DAG를 그들 사이 폴더 있음을 동기화 한, 모두 airflow initdb을 달리고, 내가 스케줄러와 근로자를 실행하면 내가 airflow list_tasks <dag_id> 을 실행할 때 dag_id 년대가 동일한 지 확인, 나는 노동자에이 오류를 얻을 : airflow.exception
나는 apache airflow 1.8을 탐색 중입니다. 나는 DAGs 또는 tasks에 인수를 전달할 수있는 방법이 있습니까? 아니면 backfilling입니까? 여기 은 같은 것입니다 내가 airflow backfill My_DAG -s some_date -e end_date argument_for_t1 argument_for_t2
, 찾고 있어요하
필자는 cfg에서 병렬 처리를 설정할 수 있음을 알고 있지만 작업 당 또는 적어도 dag 당 수행 할 수있는 방법이 있습니까? DAG1 = task_id: 'download_sftp'
parallelism: 4 #I am fine with downloading multiple files at once
task_id: 'process_dimension
우리는 공기 흐름 UI에서 "그래프보기"에서 dagrun을 수행 할 때 각 작업 실행에 대한 세부 정보를 얻습니다. 작업 ID는 "scheduled__2017-04-11T10 : 47 : 00"과 같습니다. 추적/로그 생성을 위해이 작업 ID가 필요합니다.이 작업 ID는 각 작업/dagrun이 수행 한 시간을 유지합니다. 그래서 내 질문은 입니다.을 실행중
나는 apache airflow 1.8.0과 협력 중이다. 출력이 backfill 인 경우 여기에 출력됩니다. [2017-04-13 09:42:55,857] {models.py:1126} INFO - Dependencies all met for <TaskInstance: example_bash_operator.runme_1 2017-04-13 13:43:0
i github URL https://github.com/apache/incubator-airflow에있는 Airbnb 오픈 소스 워크 플로우/데이터 파이프 라인 소프트웨어 에어 플로우의 새로운 사용자입니다. 웹 UI가 시작된 후 12 개의 기본 예제 dags가 있습니다. 나에게 바보 같은 느낌을 갖도록한다. 나는이 길들이기를 제거하는 많은 방법을 시도했지
Airflow의 많은 운영자는 데이터를 대상 시스템에 업로드하기 전에 로컬로 저장합니다. 이는 데이터가 큰 경우 작업자 노드가 상당한 양의 작업을 수행하고 있음을 의미합니다. Airbnb (Airflow를 개방 한 회사)는 2015 년에 5000 개의 작업을 제공하는 기류 클러스터에 6 개의 노드 만 있다고 말합니다. 여기에 뭔가가 있습니까? 이해하시기 바