2015-05-20 46 views
3

火花主日誌包括以下內容:工人無法連接到主機(無效ASSOCATION)同一臺機器上 - 即使URL是正確的

15/05/19 21時05分19秒INFO遠程處理:遠程處理開始;監聽 地址:akka.tcp://[email protected]:7077]

但工人是無法連接:

15/05/19 21: 27:13信息工作者:連接到主 akka.tcp://[email protected]:7077/user/Master ... 15/05/19 21:27:13 WARN Remoting:嘗試關聯無法訪問的遠程 address [akka.tcp://[email protected]:7077]。地址現在爲 門控時間爲5000毫秒,所有到此地址的消息將發送到 死信。原因:拒絕連接: mellyrn.local/25.101.19.24:7077 15/05/19 21:27:25信息工作人員: 重試連接到主(嘗試#1)15/05/19 21:27:25信息 工人:連接到主 akka.tcp://[email protected]:7077/user/Master ... 15/05/19 21:27:25 WARN Remoting:試圖與無法訪問的遠程地址聯繫 address [akka .tcp://[email protected]:7077]。地址現在爲 門控時間爲5000毫秒,所有到此地址的消息將發送到 死信。原因:連接被拒絕: mellyrn.local/25.101.19.24:7077

任何提示要在這裏嘗試?

+0

這可能會發生如果主機名輸入錯誤,即工人無法解析IP->主機名 –

回答

1

看來,這些錯誤是間歇 - 並且由於主機是完全不能記憶當時。在關閉一些不相關的內存佔用過程之後,上面的錯誤大多消失了。

目前還處於在幾十秒鐘,我想了解爲了實現主/新聞工作者協會一個延遲。

請注意,沒有任何描述低內存情況的日誌消息。

+0

我有相同的當我在YARN中使用spark-submit時出現問題。但是,在我的情況下,內存不是問題。但錯誤發生的頻率很高。可能這是網絡問題,或者AppMaster(火花驅動程序)由於某種錯誤而終止。 –

+0

什麼是操作系統? – Kandy

1

檢查文件conf/spark-defaults.conf,設置spark.masterspark://mellyrn.local:7077

另外,記得要配置無密碼ssh訪問。

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

+1

Thx,但這些是基本設置已經到位(我已經做了18個月的火花) – javadba