airflow

0열

1답변

우리는 Pentaho 주전자에서 Apache AIrflow로 이동하여 ETL을 수행하고 1 개의 도구 아래 모든 데이터 프로세스를 중앙 집중화하려고합니다. 우리는 케틀을 사용하여 Postgres/Mysql 데이터베이스의 데이터를 매일 읽고 S3 → Redshift로 데이터를 이동합니다. 가장 쉬운 방법은 무엇입니까? 직접이 작업을 수행 할 수있는 연산자가

0열

1답변

공기 흐름 1 분 후에 내 작업을 죽이고

나는이 다음과 같은 두 가지 작업과 매우 간단한 DAG : : default_args = { 'owner': 'me', 'start_date': dt.datetime.today(), 'retries': 0, 'retry_delay': dt.timedelta(minutes=1) } dag = DAG( 'test

1열

1답변

기류 ExternalTaskSensor가 꽂히는 경우

ExternalTaskSensor를 사용하려고하는데 이미 성공적으로 완료된 다른 DAG의 작업을 파킹하는 경우가 발생합니다. 여기서 첫 번째 DAG "a"가 작업을 완료 한 후 ExternalTaskSensor를 통해 두 번째 DAG "b"가 트리거 된 것으로 가정합니다. 대신 a.first_task를 파고 들기 시작합니다. 먼저 DAG : import d

0열

1답변

공기 흐름이 내 dags를 시작하지 않습니다 (파이썬 환경 활성화 및 파이썬 스크립트 실행)

15 분마다 실행하도록 Python 작업을 예약하고 싶습니다. 나는 이미 공기 흐름을 사용했고 전에 어떤 문제도 만났습니다. 오늘 시작 날짜가 15 분이고 가상 Python 환경을 활성화 한 다음 Python 스크립트를 시작하는 두 가지 작업으로 dag를 만들었습니다. 그러나 웹 서버의 상태를 확인하기 위해 웹 서버를 시작했지만 아무런 일이 발생하지 않았습

1열

2답변

dag에서 execution_date를 얻으려면 어떻게해야합니까 ?? 운영자의 외부?

dag 외부에서 execution_date 매개 변수는 어떻게 얻을 수 있습니까? 외부에서 실행 매개 변수를 얻을 수있는 솔루션이 있습니까 execution_min = "{{execution_date.strftime('%M') }}" if execution_min == '00': logging.info('**** ' + "YES, It's 00

0열

1답변

탈출 아포스트로피가

난`은 다음과 같은 방법으로 고정 표시기의 CLI 명령을 사용하여 변수를 추가하려고 bash: -c: line 0: unexpected EOF while looking for matching `"' bash: -c: line 1: syntax error: unexpected end of file 을 하나를 수행하면 나는 어떤 오류가 없습니다 docker e

1열

1답변

공기 흐름 백필 새 작업이 달그레에 추가

오늘은 2017-10-20라고 말합니다. 나는 오늘까지 성공적이었던 현존하는 처지가있다. 2017-10-01의 start_date가있는 작업을 추가해야합니다. 2017-10-01에서 2017-10-20에 자동으로 스케줄러 트리거 작업을 만드는 방법은 무엇입니까?

0열

1답변

시스템 부팅시 apache 에어 플로우 스케줄러 및 웹 서버 시작 (Ubuntu 16.04)

공기 흐름 설명서를 읽으려고했습니다. 여전히 공기 흐름 웹 서버 및 스케줄러를 시작하기 위해 upstart 또는 systemd를 사용하는 방법을 파악할 수 없었습니다. Documentation for Ubuntu 14.04. 이 두 가지 방법에 대한 업데이트가 있습니까? 무엇이 도와 드릴까요?

0열

1답변

Apache Airflow - BigQueryOperator : destination_dataset_table 파티션을 동적으로 설정하는 방법

다음과 같은 BigQueryOperator 태스크가 필요합니다. 쿼리 결과를 분할 된 테이블에 저장해야합니다. 그러나 "month_start"은 실제 DAG execution_date에서 파생되어야합니다. 내 DAG 정의 스크립트 (Python)에서 execution_date를 읽는 방법에 대한 문서 나 예제를 찾을 수 없습니다. 앞으로 좀 도와 줘. FY

0열

1답변

공기 흐름이있는 DataProcPigOperator에서 지역 및 영역 (Google Cloud Platform)을 설정하는 방법

문제가 발생했습니다. 기본 영역이 전역으로 실행되기 때문에 DataProcPigOperator 코드를 생성 할 것입니다.하지만 DataProcPigOperator가 글로벌 영역을 실행하는 기본 작업이기 때문에 asia-easth1 코드가 실행되지 않는 클러스터에서 정의 영역을 변경합니다. 어떤 해결책이 .. ?? t1 = DataProcPigOperator