공기 흐름 : 다음 작업으로 정보를 전달 (센서)

Question

(내가 this question의 알고 있지만 충분히 내가 업데이트 응답이 바라고 지금 부탁 해요 오래된입니다.)

I가 플러그인을 쓰고 있어요 AWS Batch for Airflow를 사용하고 작업자가 AWSBatchOperator 연산자를 통해 Batch에 제출 한 후에 작업이 완료 될 때까지 대기하고 Airflow에 알릴 수있는 방법이 필요합니다. 나는 그것을 다루기위한 적절한 방법 인 것처럼 보이기 때문에 그것에 대한 센서를 쓰고있다.

그러나 AWS Batch에서 AWSBatchOperator이 작업을 만들 때 센서는 해당 작업 ID를 센서에 제출하여 센서가 확인할 작업을 알 수 있도록해야합니다. 완료된 작업의 정보를 종속 작업으로 전달하는 간단한 방법이 있습니까? 저는 XCom에 대해 알고 있습니다 만,이 상황의 단순성과 이것이 센서에 공통적 인 문제라고 생각한 점을 감안할 때 과장된 것 같습니다.

감사합니다.

Answer 1

한 작업에서 다음 작업으로 정보를 전달하는 경우 유일한 방법입니다 (Airflow에서 알고있는 방법). 또는 이전 작업이 일부 외부 시스템 (메시지 큐, 카프카 버퍼, s3 버킷 등)에 쓰고 후속 단계 (센서)가 외부 값이 트리거되는지 확인하지 않는 한.