Spark遠程執行羣集失敗 - HDFS連接拒絕在8020

Question

我有問題從YARN上運行的Spark羣集以外的機器提交spark-submit遠程作業。

Exception in thread "main" java.net.ConnectionException: Call from remote.dev.local/192.168.10.65 to target.dev.local:8020 failed on connection exception: java.net.ConnectionException: Connection Refused 

在我的核心-site.xml中：

<property> 
    <name>fs.defaultFS</name> 
    <value>hdfs://target.dev.local:8020</value> 
<property> 

在集羣中的我的HDFS-site.xml中

而且我已經功能已停用權限HDFS檢查：

<property> 
    <name>dfs.permissions.enabled</name> 
    <value>false</value> 
<property> 

而且，當我從羣集外的機器telnet時：

telnet target.dev.local 8020 

我越來越

telnet: connect to address 192.168.10.186: Connection Refused 

但是，當我

telnet target.dev.local 9000 

它說：連接。

另外當我ping target.dev.local它的作品。

我的火花提交從遠程計算機上的腳本是：

export HADOOP_CONF_DIR=/<path_to_conf_dir_copied_from_cluster>/ 

spark-submit --class org.apache.spark.examples.SparkPi \ 
--master yarn \ 
--deploy-mode cluster \ 
--driver-memory 5g \ 
--executor-memory 50g \ 
--executor-cores 5 \ 
--queue default \ 
<path to jar>.jar \ 
10 

缺少什麼我在這裏？

Answer 1

原來我不得不改變

<property> 
    <name>fs.defaultFS</name> 
    <value>hdfs://target.dev.local:8020</value> 
<property> 

到

<property> 
    <name>fs.defaultFS</name> 
    <value>hdfs://0.0.0.0:8020</value> 
<property> 

允許連接構成外，因爲target.dev.local坐落在一個私人網絡交換機。