Apache Spark 2.1.0 - 기본 설정 : 작업자 노드가 마스터 노드와 연결되지 않음

Question

아파치 스파크를 실행하는 두 개의 VM을 연결하려고합니다. 주인과 노동자. 저는 VirtualBox와 host-only 네트워크 어댑터를 사용하고 있습니다. VM은 ping이 될 수 있지만 작업자를 시작하면 마스터의 웹 UI에 나타나지 않습니다.

SPARK_MASTER_IP=10.10.10.2 

처음 시작 마스터 노드 :

./start-master.sh 

starting org.apache.spark.deploy.master.Master, logging to /usr/lib/spark/logs/spark-masternode-org.apache.spark.deploy.master.Master-1-masternode.out 

을

나는 주인의이 10.10.10.2 인 및 근로자의 10.10.10.3

내 spark-env.sh 파일을 포함하도록 구성되어 정적 IP를 사용하고 있습니다

그러면 작업자 :

./start-slave.sh spark://10.10.10.2:7077 

starting org.apache.spark.deploy.worker.Worker, logging to /usr/lib/spark/logs/spark-modelnode1-org.apache.spark.deploy.worker.Worker-1-modelnode1.out 

마스터 노드의 GUI의 결과 출력 :

는 작업자에서 I nmap 10.10.10.2 경우

Nmap scan report for 10.10.10.2 
Host is up (0.00035s latency). 
Not shown: 998 closed ports 
PORT  STATE SERVICE 
22/tcp open ssh 
8080/tcp open http-proxy 

나는 그와 관련이 있는지 모르겠지만이 표시되지 않습니다 무엇이든간에 7077

어떤 도움이라도 대단히 감사합니다!

Answer 1

SPARK_MASTER_IP은 더 이상 사용되지 않으며 Spark 2.x에서는 더 이상 사용되지 않습니다. 당신은 사용할 수 있습니다

• SPARK_MASTER_HOST 환경 변수
• -h/--host 옵션을 sbin/start-master.sh 위해.