airflow

3열

1답변

공기 흐름을 통해 일부 특정 dag와 연결된 키로 사용자 패스 매개 변수를 끝낼 수 있습니다.

많은 링크를 검색했지만 가지고있는 문제점을 해결하지 못했습니다. 기류 UI에 key/var를 전달할 수있는 옵션을 보았지만 최종 사용자가 어떤 키가 어떤 dag와 관련되어 있는지 혼동하는 것은 정말 혼란 스럽습니다. 다음과 같은 기능을 구현할 수있는 방법이 있습니까 : While running an airflow job, end user will be as

2열

2답변

Apache Airflow Celery Redis DecodeError

최신 버전의 아파치 에어 플로우를 사용합니다. LocalExecutor로 시작한이 모드에서 CeleryExecutor가 웹 UI 상태를 사용하기 위해 필요한 일부 상호 작용을 제외하고는 모든 것이 잘 작동했다. Redis로 Celery 실행 프로그램을 설치 및 구성하고 Redis를 브로커 URL 및 결과 백엔드로 구성했습니다. 작업이 예약 될 때까지하는 것

0열

1답변

기류 쉘 스크립트를 실행하는 Dataproc 운영자

dataproc 클러스터에 쉘 스크립트를 직접 실행할 수있는 방법이 있습니까? 현재 나는 pysparkoperator (aonther python 파일을 호출 한 다음이 python 파일을 호출하여 쉘 스크립트를 호출 함)를 통해 쉘을 실행할 수 있습니다. 나는 많은 링크를 수색했지만 지금은 직접적인 방법을 찾지 못했습니다. 누군가가 나에게 가장 쉬운 방법

0열

3답변

구성 구글 클라우드 버킷 공기 흐름 로그 폴더로

우리는 단지 기능을 탐험 .WHILE 우리의 데이터 파이프 라인에 대한 우리의 프로젝트에 아파치 공기 흐름을 사용하기 시작하는 것은 .FOR 공기 흐름에 로그 대상으로 원격 폴더를 구성하는 방법에 대한 알게 구글 클라우드 버킷. 공기 흐름 UI에서 새로운 GS 연결 난 그냥 구글 콘솔에서 내 프로젝트에서 샘플 GS 버킷을 생성하고이 연결 해당 프로젝트 ID

0열

1답변

Apache Airflow가 FTP/SFTP를 통해 원격 호스트에 연결할 수 없습니다.

Apache Airflow를 처음 접해 왔으며 지금까지 만났던 문제를 해결할 수있었습니다. 나는 지금 벽에 부딪쳤다. sftp를 통해 원격 서버로 파일을 전송해야합니다. 나는이 일을 행운이 없었어요. 지금까지 다양한 DAG에서 작동하기 위해 각각의 후크를 통해 S3 및 Postgres/Redshift 연결을 받았습니다. FTPHook을 사용하여 로컬 FTP

0열

1답변

모든 DAG 실패에 대한 글로벌 경고

현재 프로덕션 환경에서 100 개 이상의 DAG가 실행 중입니다. 나는 on_failure_callback과 경고를 추가하는 방법을 알고 있으며 업스트림 오류로 인해 작동하는 운영자에게 알려주지 만, DAG가 실패했을 때 이메일을 보내어 경고를하기 위해 모든 DAG를 업데이트하지 않고도 Airflow 자체가 항상 이메일을 보내도록 구성하는 방법이 있습니다.

4열

1답변

Airflow를 사용하여 mysql 레코드를 얻고 처리하는 방법은 무엇입니까? 내가 진행해야하는 방식에 대해 확실하지 오전 <pre><code>1. run a select query on MYSQL DB and fetch the records. 2. Records are processed by python script. </code></pre> <p></p>에

나는이 필요합니다. xcom이 여기 갈 길입니까? 또한 MYSQLOperator는 쿼리 만 실행하고 레코드를 가져 오지 않습니다. 내가 사용할 수있는 inbuilt 전송 연산자가 있습니까? 어떻게 MYSQL 후크를 사용할 수 있습니까? 당신이 데이터를 얻을 수 후크를 사용하는 PythonOperator을 사용할 수 있습니다 는 는 변환을 적용하고 다시 (현

0열

1답변

공기 흐름에 tox가 실행되는 동안 오류가 발생했습니다.

공기 흐름에 기여하려고하지만 우분투에서 독성을 유발할 수는 없습니다. 16.0.4. kerbos로 뭔가가 일어나고 있습니다. py34-hdp-airflow_backend_postgres runtests: commands[2] | sudo /home/dalupus/incubator-airflow/scripts/ci/setup_kdc.sh WARNING:te

1열

1답변

기류 대구의 postgres_operator 관련 문제

현재 Airflow 1.8.2를 사용하여 일부 EMR 작업을 예약하고 Redshift 클러스터에서 장기 실행 쿼리를 실행하고 있습니다. 그 목적을 위해 저는 postgres_operator를 사용하고 있습니다. 쿼리를 실행하는 데 약 30 분이 소요됩니다. 그러나 일단 작업이 완료되면 연결이 닫히지 않고 운영자는 매시 2 시간 째에 종료 될 때까지 한 시간

0열

2답변

업스트림 작업의 공기 흐름 강제 재실행 (다운 스트림이 성공으로 표시된 경우에도)

공기 흐름에서 A -> B -> C 작업을 수행하고 DAG를 실행하고 모두 완료하면 성공할 수 있습니다. (성공을 표시 한 C는 남겨둔 채로) B만을 제거합니다. B가 지워지고 'no_status'상태가되지만 B를 다시 실행하려고하면 아무 일도 일어나지 않습니다. --ignore_dependencies, --ignore_depends_on_past 및 --