공기 흐름이있는 특정 기계에 작업 할당

특정 컴퓨터 (내 경우에는 EMR 클러스터)에서 실행해야하는 작업이 포함 된 DAG가 있습니다. 특정 작업을 실행할 때마다 해당 컴퓨터에서만 실행할 수 있도록 공기 흐름을 어디에서 알 수 있습니까?

2017-04-03 Dotan

대기열 이름이있는 해당 시스템에서 작업자를 실행하십시오.

task = PythonOperator(
    task_id='task', 
    python_callable=my_callable, 
    queue='my_queue', 
    dag=dag)

출처

2017-04-04 20:50:09 jhnclvr

해당 클러스터에있는 모든 프로세서를 활용 my_queue''공기 흐름 작업자 -q을 실행하는 것입니다 : 해당 큐를 사용하는 그런 다음 작업을 정의

airflow worker -q my_queue

: 공기 흐름 CLI에서 당신은 같은 일을 할 수 있을까? 또는 여러 개의 'airflow worker'명령을 실행해야합니까? – David

적어도 셀러리를 사용하는 경우 각 개별 상자에서 작업자를 시작해야한다고 생각합니다. Mesos를 사용한다면 확실하지 않습니다. – jhnclvr

다른 'airflow worker'를 믹스에 추가한다고 가정하면 이전에 정의 된 동시성 값보다 많은 작업자를 추가하면 airflow.cfg에서'celeryd_concurrency'를 편집해야합니까? 또는 단순히 airflow worker -c 12로 덮어 쓸 수 있습니까? (12 개의 동시 스레드가있는 상자를로드하는 경우) – David

공기 흐름이있는 특정 기계에 작업 할당

답변

관련 문제