스파크 원격 클러스터 실행이 실패 함 - HDFS 연결이 8020에서 거부되었습니다.

Question

YARN에서 실행되는 Spark Cluster 외부의 시스템에서 spark-submit 원격 작업을 제출하는 데 문제가 있습니다. 내 코어를 site.xml에서

Exception in thread "main" java.net.ConnectionException: Call from remote.dev.local/192.168.10.65 to target.dev.local:8020 failed on connection exception: java.net.ConnectionException: Connection Refused 

:

클러스터 내 HDFS-site.xml 파일에서 또한

<property> 
    <name>fs.defaultFS</name> 
    <value>hdfs://target.dev.local:8020</value> 
<property> 

내가 disbled 한 권한 HDFS 검사 :

또한

<property> 
    <name>dfs.permissions.enabled</name> 
    <value>false</value> 
<property> 

, 클러스터 외부의 시스템에서 텔넷으로 연결했을 때 :

telnet target.dev.local 8020 

I

telnet target.dev.local 9000 

이 이을 연결 말할 때 나는

telnet: connect to address 192.168.10.186: Connection Refused 

를 받고 그러나하고있다.

또한 내가 ping target.dev.local 일 때 작동합니다.

내 스파크 제출 원격 컴퓨터에서 스크립트를 것입니다 :

export HADOOP_CONF_DIR=/<path_to_conf_dir_copied_from_cluster>/ 

spark-submit --class org.apache.spark.examples.SparkPi \ 
--master yarn \ 
--deploy-mode cluster \ 
--driver-memory 5g \ 
--executor-memory 50g \ 
--executor-cores 5 \ 
--queue default \ 
<path to jar>.jar \ 
10 

내가 무슨 말이냐?

Answer 1

내가 target.dev.local 개인 네트워크 스위치에 앉아 있기 때문에 연결이 외부를 형성 할 수 있도록

<property> 
    <name>fs.defaultFS</name> 
    <value>hdfs://0.0.0.0:8020</value> 
<property> 

에

<property> 
    <name>fs.defaultFS</name> 
    <value>hdfs://target.dev.local:8020</value> 
<property> 

을 변경했다 밝혀졌습니다.