1
저는 Airflow의 초보자입니다. 그러나 현재 저는 Airflow에서 현재 작업을 조절하는 방법에 대해 연구하고 있습니다. Airflow에서 동시성이나 조절에 대해 조금 알고있는 사람이 있습니까? 어떤 제안이라도 도움이 될 수 있습니다. 고마워요.공기 흐름의 현재 작업을 조절하는 방법?
A
답변
0
dag에서 작업을 조절하려면 "동시성"매개 변수를 정의해야합니다.
"동시성"은 DAG가 허용되는 실행중인 작업 인스턴스의 수를 지정합니다. 은 대기열에 저장되는 지점을 초과합니다.
당신은, 전 세계적으로 작업을 스로틀 설정 파일
집행자에 대한 설정과 병렬의 양이 줄 보길 원하는 경우
. 이 정의 이 공기 흐름 설치에 동시에 를 실행해야합니다 작업 인스턴스의 최대 수병렬 = 32
그리고
스케줄러가 동시에 실행할 수있는 작업 인스턴스의 수
dag_concurrency = 16
첫 번째는 전역이고 두 번째는 모든 데이터에 대한 동시성 기본값입니다.