airflow

0열

1답변

Spring Cloud DataFlow - 작업 실행 후 실행 ID 얻기

현재 스프링 XD에서 내 워크 플로 및 런타임 환경으로 Spring Cloud DataFlow 및 Apache Airflow로 이동 중입니다. Airflow에서 워크 플로를 만들고 맞춤식 Airflow 연산자를 사용하여 Spring Cloud DataFlow 서버에서 Spring Cloud Tasks를 REST-API로 실행하려고합니다. 이 사용 가능 :

3열

1답변

평일에 기류가 흐르도록 예약하십시오.

평일에만 실행되도록 기류 Dag를 계획하는 올바른 방법은 무엇입니까? 나는 start_date와 schedule_interval 식에서 시간 오프셋을 포함 시키려고했지만, 여전히 원하는 시간에 시작하지는 않습니다. (나는 오전 1시의 UTC 년 1 월 28 일에 시작하고, 토요일까지 시간 화요일에 실행되도록 할 수 있습니다.) default_args = {

0열

1답변

다음 인스턴스를 실행하기 전에이 인스턴스를 디버그 할 수 있습니까?

Airflow를 개발하고 DAG를 켜면 6 단계에서 실패하고 7-9 단계가 시작되지 않습니다. 하지만 문제를 디버깅하기 전에 다음 인스턴스 (이전에 start_date를 두었습니다)가 시작되어 5 단계로 진행되고 6 단계에서 실패하여 완전히 내 워크 플로를 엉망으로 만듭니다. 이 동작이 예상 되나요, 아니면 꺼져있어이 인스턴스가 녹색이 될 때까지 다음 인스

1열

1답변

Apache Airflow db2 연결

Apache Airflow의 경우 airflow.cfg 파일에 sql_alchemy_conn = ibm_db_sa://{USERNAME}:{PASSWORD}@{HOST}:50000/airflow을 사용하여 데이터베이스 연결을 설정했습니다. airflow initdb을 실행하면 KeyError: 'ibm_db_sa'가 나타납니다. 누구나 비슷한 오류가 발생합

0열

4답변

공기 흐름에 명령 줄 인수 전달 BashOperator

공기 흐름 BashOperator에 명령 줄 인수를 전달하는 방법이 있습니까? 현재, 날짜 인수를 받아 특정 날짜보다 오래된 특정 폴더를 정리하는 것과 같은 특정 작업을 수행하는 python 스크립트가 있습니다. 하나의 작업을 단순화 된 코드에서 은, 내가 뭘하고 싶은 사전에 from __future__ import print_function from a

1열

1답변

는 이전 아파치에 실패 할 경우 공기 흐름

을 작업을 실행하는 방법은 다음을 수행해야 down 나는 그것을 시작하려고 노력한다. 그것은 벌써 일어난다. 나는 나의 Spark 일을 달리기 위해 앞으로 나아 간다. 하지만 Spark 클러스터가 작동 중인지 확인하기위한 작업을 생성하려고합니다 (간단한 Spark 작업을 실행하려고 시도했을 수 있음). 실패하면 "Start Spark cluster"작업을

1열

1답변

Apache Airflow - 로깅 형식 사용자 정의

Airflow가 로깅에 사용하는 형식을 사용자 정의 할 수 있습니까? 나는 $ AIRFLOW_HOME/airflow.cfg에서 LOG_FORMAT 변수를 추가했지만, 당신이를 변경하려면 공기 흐름 패키지의 settings.py 파일을 변경해야 효과를 LOG_FORMAT = "%(asctime)s logLevel=%(levelname)s logger=%(na

6열

1답변

TemplateNotFound 오류 실행 간단한 공기 흐름 BashOperator

내가 명령 airflow list_tasks orderwarehouse 사용하여 작업 목록을하려고 할 때 우리의 첫 공기 흐름 DAG를 쓰기 위해 노력하고있어, 나는 다음과 같은 오류를 받고 있어요 : Traceback (most recent call last): File "/usr/local/lib/python2.7/site-packages/ai

1열

3답변

공기 흐름 웹 서버를 다시 시작하지 않고 공기 흐름에서 파이썬 기능을 업데이트하는 방법

공기 흐름을 사용하여 일부 Python ETL 프로세스를 예약하는 방법을 배우고 있습니다. 파이썬 코드를 업데이트 할 때마다 웹 서버를 다시 시작하고 코드 변경이 기류에 의해 적용되기 전에 DAG 이름을 바꿔야합니다. 어쨌든이 문제가 있습니까? 특히 변경할 때마다 DAG의 이름을 변경하지 않아도됩니까?

0열

1답변

공기 흐름 : 하위 태그를 다른 하위 태그 내에서 실행할 수 있습니까?

주 DAG의 노드 중 하나로서 하위 태그가 있습니다. 워크 플로가 정상적으로 작동합니다. 다른 하위 태그를 하위 태그에 포함시켜 계층 구조 수준을 높이려고했습니다. 그러나 공기 흐름은 혼란스러워 보입니다. 이 점에 관한 몇 가지 질문 : 1) 공기 흐름이 하위 태그 내에서 하위 태그를 지원합니까? 그렇다면 계층 구조에 제한이 있습니까? 2) 하위 태그 안에