Apache Airflow 클러스터의 최소 하드웨어 요구 사항

Question

Apache Airflow 클러스터를 설정하기위한 최소 하드웨어 요구 사항은 무엇입니까?

예 : 클러스터의 노드 유형에 따라 RAM, CPU, 디스크 등.

감사

Answer 1

나는 의사 분산 모드에서 매우 작은 경우 사용에는 문제가 없었습니다 (32 명 병렬 노동자, 포스트 그레스 백엔드) :

• RAM 4천96메가바이트
• CPU 1,000 MHz의
• VCPU 2 VCPU
• 디스크 40GB

분산 모드를 원할 경우 균등성을 유지한다면 그 이상으로 좋을 것입니다. 기류는 어쨌든 무거운 짐을 지워서는 안됩니다. 작업 부하를 다른 것들 (스파크, EMR, BigQuery 등)에 푸시하십시오.

또한 RabbitMQ와 같은 종류의 메시징 큐를 실행해야합니다. 나는 그들이 Redis도 가지고 있다고 생각합니다. 그러나 이것이 실제로 크기에 큰 영향을 미치지는 않습니다.