0
클러스터가 하나의 마스터 10 개의 작업자 노드로 구성되어 있습니다. 파티션 수를 3으로 설정하면 마스터 노드가 3 개의 작업자 노드 만 사용하거나 모든 노드를 사용합니까? 왜냐하면 그것들 모두가 사용되었음을 보여주기 때문입니다.Apache Spark의 파티션
A
답변
1
문제는 당신이 10 개 집행, 스파크 애플리케이션 마스터 실에서 모든 리소스를 얻을 수와 함께 작업을 시작하면 그러나 다음과 같은 일이
도움이 될 수도, 당신이 요구하는 것에 대해 매우 명확하지 않다. 따라서 모든 유언 집행자는 이미 스파크 작업과 연관되어 있습니다.
그러나 데이터 파티션이 사용 가능한 실행 프로그램의 수보다 작 으면 실행 프로그램의 나머지는 유휴 상태가됩니다. 따라서 파티션 수를 실행 프로그램 수보다 적게 유지하는 것은 좋은 생각이 아닙니다.