작업 당 병렬 처리를 지정 하시겠습니까?

Question

필자는 cfg에서 병렬 처리를 설정할 수 있음을 알고 있지만 작업 당 또는 적어도 dag 당 수행 할 수있는 방법이 있습니까?

DAG1 =

task_id: 'download_sftp' 
parallelism: 4 #I am fine with downloading multiple files at once 


task_id: 'process_dimensions' 
parallelism: 1 #I want to make sure the dimensions are processed one at a time to prevent conflicts with my 'serial' keys 

task_id: 'process_facts' 
parallelism: 4 #It is fine to have multiple tables processed at once since there will be no conflicts 

DAG2 (별도의 파일) =

task_id: 'bcp_query' 
parallelism: 6 #I can query separate BCP commands to download data quickly since it is very small amounts of data 

Answer 1

당신은 웹 GUI를 통해 작업 풀을 생성하고 풀을 사용하여 특정 작업을 지정하여 실행 병렬 처리를 제한 할 수 있습니다 .

참조 : https://airflow.apache.org/concepts.html#pools