2
우리 회사에서는 구형 및 신형 기계를 결합하여 매우 이질적인 YARN + Spark 클러스터를 작성했습니다. 개별 머신의 통계가 격렬하게 변하기 때문에 더 큰 머신에서 여러 실행 프로그램을 실행할 수 있기를 바랍니다. --num-executors을 클러스터의 시스템 수보다 높게 설정하면 작동하지 않습니다. 이 기능을 사용하려면 변경해야 할 다른 설정이 있습니까? 아니면 불가능할 수 있습니까?YARN 및 Spark를 사용하는 작업자 당 복수 집행자?
나는 이것이 사실이라고 생각하지 않습니다. 메모리 제약 때문에'--executor-cores'를 2로 설정하고 있습니다. 32 코어가있는 머신을 포함하여 모든 머신에서 하나의 Executor 만 얻고 있습니다. – job
귀하의 질문에 귀하의 스파크 conf를 게시 할 수 있습니까? 이렇게하면 디버깅에 도움이됩니다. – Tim