0
작업/dag 시간 제한을 없음으로 설정하고 수동으로 실행중인 트리거를 사용하여 끝날 수없는 작업 (즉, 스트림 데이터를 소비하는 무조건적인 루프가있는 작업)을 정의하기 위해 기류 대구를 사용할 수 있습니까? 공기 흐름 모니터링을 끝내지 않으면 문제가 발생합니까? 감사합니다.공기 흐름을 사용하여 끝이없는 작업을 실행할 수 있습니까?
A
답변
1
공기 흐름을 통해이를 실행하려면 약간 이상하지만, 문제는 아닌 것 같습니다. 작업을 실행하는 작업자 (CeleryExecutor라고 가정)를 다시 시작하면 작업을 중단하고 retries이 설정되지 않은 경우 수동으로 다시 시작해야합니다. 또한 DAG가 execution_timeout=None (기본값)으로 설정되어 있는지 확인하십시오.
0
"데이터가 있는지"를 모니터링하는 센서를 사용할 수 있습니다. 그러면 일부 처리를 수행하는 dag가 트리거됩니다. 이게 니가 원하는거야? 저에게 알려주세요.
아니요. 답변 해 주셔서 감사합니다.하지만 유스 케이스는 스트리밍 로그를 실제로 사용하는 것입니다. 이전 응답은 내가 찾고 있었던 것이다. – FZF