spark 환경 매개 변수가 실행 프로그램과 일관성이없는 이유는 무엇입니까?

Question

EMR에서 스파크 애플리케이션을 실행 중입니다. 스파크 내역 UI에서 environment 탭 아래 spark.executor.instances은 1입니다. 그러나 executors 탭 아래에는 1 드라이버를 포함하여 9 집행자가 모두 있다는 것을 보여줍니다.

왜 이런 일이 발생합니까?

Answer 1

spark.executor.instances 코어 노드의 초기 수와 클러스터의 태스크 노드 수를 더한 값으로 설정됩니다.

executors은 각 실행 프로그램이 병렬로 실행할 수있는 작업 수입니다.

Submitting User Applications with spark-submit

:이 링크는 다양한 의미와 옵션을 설명하는 데 도움이됩니다