2016-06-13 8 views
1

SPARK_LOCAL_IP를 "127.0.0.1"로 설정하고 포트가 사용되고 있는지 확인하려고했습니다. 다음은 전체 오류 텍스트입니다.SparkR 및 Pyspark는 Java.net을 시작합니다. 시작시 Bindexception을 실행하지만 Spark-Shell은 실행하지 않습니까?

Launching java with spark-submit command /usr/hdp/2.4.0.0- 

    169/spark/bin/spark-submit "sparkr-shell" /tmp/RtmpZo44il/backend_port998540c56917 
/usr/hdp/2.4.0.0-169/spark/bin/load-spark-env.sh: line 72: export: `load-spark-env.sh': not a valid identifier 
16/06/13 11:28:24 ERROR RBackend: Server shutting down: failed with exception 
java.net.BindException: Cannot assign requested address 
     at sun.nio.ch.Net.bind0(Native Method) 
     at sun.nio.ch.Net.bind(Net.java:433) 
     at sun.nio.ch.Net.bind(Net.java:425) 
     at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223) 
     at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74) 
     at io.netty.channel.socket.nio.NioServerSocketChannel.doBind(NioServerSocketChannel.java:125) 
     at io.netty.channel.AbstractChannel$AbstractUnsafe.bind(AbstractChannel.java:485) 
     at io.netty.channel.DefaultChannelPipeline$HeadContext.bind(DefaultChannelPipeline.java:1089) 
     at io.netty.channel.AbstractChannelHandlerContext.invokeBind(AbstractChannelHandlerContext.java:430) 
     at io.netty.channel.AbstractChannelHandlerContext.bind(AbstractChannelHandlerContext.java:415) 
     at io.netty.channel.DefaultChannelPipeline.bind(DefaultChannelPipeline.java:903) 
     at io.netty.channel.AbstractChannel.bind(AbstractChannel.java:198) 
     at io.netty.bootstrap.AbstractBootstrap$2.run(AbstractBootstrap.java:348) 
     at io.netty.util.concurrent.SingleThreadEventExecutor.runAllTasks(SingleThreadEventExecutor.java:357) 
     at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:357) 
     at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:111) 
     at io.netty.util.concurrent.DefaultThreadFactory$DefaultRunnableDecorator.run(DefaultThreadFactory.java:137) 
     at java.lang.Thread.run(Thread.java:745) 
Error in SparkR::sparkR.init() : JVM is not ready after 10 seconds 

위 오류는 ./bin/sparkR을 시작할 때 오류입니다. 다시 Spark-shell이 ​​정상적으로 실행됩니다.

몇 가지 추가 정보 Spark-shell을 실행하면 바인드 예외가없는 포트가 해결 될 때까지 자동으로 포트를 검색합니다. 기본 SparkR 백엔드 포트를 사용되지 않는 포트로 설정하더라도 실패합니다.

답변

0

문제점을 발견했습니다. 다른 사용자가 내 etc/hosts 파일을 삭제했습니다. localhost를 사용하여 파일을 재구성했고 sparkR을 실행하는 것 같습니다. 나는 아직도 스파크 껍질이 파일과 함께 어떻게 달릴 수 있는지 궁금하다.