SparkPi를 로컬에서 실행할 때 연결이 거부되었습니다.

Question

SparkPi 예제의 간단한 실행을 실행하려고합니다. 나는 그 때, 마스터와 하나의 작업자를 시작 내 로컬 "클러스터"에 작업을 실행,하지만 난 원래 구성없이 내 마스터와 근로자를 실행하려고 오류의 순서는 모든

Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2: Connection refused: /127.0.0.1:39398 

로 끝나는 치울하지만 결국 같은 오류가 발생했습니다. 127.0.0.1로 변경하여 서버가 외부 세계에 잠겨 있기 때문에 방화벽 문제 일 가능성이 있는지 테스트하려고했습니다. 내가 도망 여기

export SPARK_MASTER_IP=127.0.0.1 

되는 순서와 명령 : 내 conf/spark-conf.sh

에는 다음이 포함

1) sbin/start-master.sh (다른의 마스터)

2) bin/spark-class org.apache.spark.deploy.worker.Worker spark://127.0.0.1:7077 --ip 127.0.0.1 --port 1111를 (시작 동일한 기계에서 세션을 시작하여 슬레이브를 시작하십시오)

3) bin/run-example org.apache.spark.examples.SparkPi spark://127.0.0.1:7077 (다른 세션에서

로컬로 실행하면 문제가 발생할 수 있다고 생각하기가 어렵습니다.

Answer 1

SPARK_MASTER_IP를 루프백 주소 127.0.0.1로 설정하면 안됩니다. 작업자 노드는 루프백 주소를 사용하여 MASTER 노드에 연결할 수 없습니다.

conf/spark-env.sh에서 올바른 로컬 IP 주소 (예 : 192.168.0.2)로 설정하고 MASTER 및 WORKER 노드의 conf/slave 구성 파일에 작업자 IP를 추가해야합니다.

그런 다음 sbin/start-all.sh를 사용하여 클러스터를 시작할 수 있습니다.

"bin/run-example org.apache.spark.examples.SparkPi"

을 실행하십시오.