아파치 스파크 독립 실행 형 클러스터를 시작할 수 없습니다.

Question

마스터 및 작업자와 함께 Spark 클러스터를 시작하는 데 몇 가지 문제가 있습니다. 우분투 16.04 LTS에 Hadoop 2.7.3 및 Spark 2.0.0을 다운로드하여 설치했습니다. 나는 conf의/노예 나의 노예의 IP로 파일을 만들어이 나의

#!/usr/bin/env #bash 

export SPARK_DIST_CLASSPATH=$(hadoop classpath) 


export SPARK_WORKER_CORES=2 

export SPARK_MASTER_IP=192.168.1.6 
export SPARK_LOCAL_IP=192.168.1.6 

export SPARK_YARN_USER_ENV="JAVA_HOME=/usr/lib/jvm/java-8-oracle/jre" 

spark-env.sh 내가 start-master.sh 사용하여 마스터를 시작이며 모든 괜찮습니다. 나는 노동자를 돌보기 위해 몇 가지 문제를 겪었다.

(1) - start-slave.sh spark://192.168.1.6:7077 (from worker) 
(2) - start-slaves.sh (from master) 
(3) - ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://192.168.1.6:7077 (from worker) 

(1) E (2) 슬레이브가 분명히 시작으로

하지만 마스터의 :

나는 함께 해봤 8080이 표시되지 않았습니다. 사용 (3)이 예외를 throw :

16/08/31 14:17:03 INFO worker.Worker: Connecting to master master:7077... 
16/08/31 14:17:03 WARN worker.Worker: Failed to connect to master master:7077 
org.apache.spark.SparkException: Exception thrown in awaitResult 
    at org.apache.spark.rpc.RpcTimeout$$anonfun$1.applyOrElse(RpcTimeout.scala:77) 
    at org.apache.spark.rpc.RpcTimeout$$anonfun$1.applyOrElse(RpcTimeout.scala:75) 
    at scala.runtime.AbstractPartialFunction.apply(AbstractPartialFunction.scala:36) 
    at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcTimeout.scala:59) 
    at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcTimeout.scala:59) 
    at scala.PartialFunction$OrElse.apply(PartialFunction.scala:167) 
    at org.apache.spark.rpc.RpcTimeout.awaitResult(RpcTimeout.scala:83) 
    at org.apache.spark.rpc.RpcEnv.setupEndpointRefByURI(RpcEnv.scala:88) 
    at org.apache.spark.rpc.RpcEnv.setupEndpointRef(RpcEnv.scala:96) 
    at org.apache.spark.deploy.worker.Worker$$anonfun$org$apache$spark$deploy$worker$Worker$$tryRegisterAllMasters$1$$anon$1.run(Worker.scala:216) 
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) 
    at java.util.concurrent.FutureTask.run(FutureTask.java:266) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 
    at java.lang.Thread.run(Thread.java:745) 
Caused by: java.io.IOException: Failed to connect to master/192.168.1.6:7077 
    at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:228) 
    at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:179) 
    at org.apache.spark.rpc.netty.NettyRpcEnv.createClient(NettyRpcEnv.scala:197) 
    at org.apache.spark.rpc.netty.Outbox$$anon$1.call(Outbox.scala:191) 
    at org.apache.spark.rpc.netty.Outbox$$anon$1.call(Outbox.scala:187) 
    ... 4 more 
Caused by: java.net.ConnectException: Connection refused: master/192.168.1.6:7077 
    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) 
    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717) 
    at io.netty.channel.socket.nio.NioSocketChannel.doFinishConnect(NioSocketChannel.java:224) 
    at io.netty.channel.nio.AbstractNioChannel$AbstractNioUnsafe.finishConnect(AbstractNioChannel.java:289) 
    at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:528) 
    at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:468) 
    at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:382) 
    at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:354) 
    at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:111) 
    ... 1 more 
16/08/31 14:17:40 ERROR worker.Worker: All masters are unresponsive! Giving up. 

마스터와 노동자는 브리지 연결을 사용하여 동일한 Windows 10 호스트에 설치된 VM웨어 VM에 의해 호스팅됩니다.

나는 또한 방화벽을 비활성화했습니다.

무엇을 할 수 있습니까 ??

미리 감사드립니다. 로그에서

Answer 1

:

16/08/31 14:17:03 INFO worker.Worker: Connecting to master master:7077... 

당신이 볼 수있는, master:7077

마스터 호스트 이름이 지정된 IP로 확인 있는지 확인 연결을 시도한다 (192.168.1.6).

/etc/hosts 파일에서 호스트 이름을 확인할 수 있습니다.