Spark2가 한 노드에서만 실행되는 이유는 무엇입니까?

Question

Zeppelin에서 Spark2를 실행하고 있습니다 (HDP 2.6에서는 0.7). 많은 시간 후에 충돌하는 idf 변환을 수행하고 있습니다. 마스터 및 3 개의 데이터 노드 (s1, s2 및 s3)가있는 클러스터에서 실행됩니다. 모든 노드에는 Spark2 클라이언트가 있으며 각 노드에는 8 개의 코어와 16GB RAM이 있습니다.

나는 단지 5 개의 실행자와 함께 하나의 노드 s3에서만 실행되는 것으로 나타났습니다.

는 zeppelin-env.sh에서 I는 12g에 32 zeppelin.executor.mem에 zeppelin.executor.instances를 설정하고 라인 가진다 : I가 org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler yarn.resourcemanager.scheduler.class에 설정 한

export MASTER=yarn-client 

한다.

또한 Spark2 인터프리터에서 spark.executor.instances을 32로 설정합니다.

누구나 다른 노드에서 공유를 시도 할 수있는 아이디어가 있습니까?

Answer 1

대답은 내가 바보이기 때문입니다. S3만이 데이터 노드와 노드 관리자를 설치했습니다. 바라기를 이것은 누군가를 도울지도 모른다.