Hadoop客戶端無法連接到服務器

我建立了一個雙節點Hadoop集羣，並且運行start-df.sh和start-yarn.sh工作正常（即所有預期的服務正在運行，日誌中沒有錯誤）。Hadoop客戶端無法連接到服務器

然而，當我真正嘗試運行的應用程序，有幾個任務失敗：

15/04/01 15時27分53秒INFO mapreduce.Job：任務標識： attempt_1427894767376_0001_m_000008_2，狀態：失敗

我檢查了紗線和datanode日誌，但沒有在那裏報告。在userlogs，所有包含以下錯誤消息中的從節點上的系統日誌文件：

2015-04-01 15：27：21077 INFO [主要] org.apache.hadoop.ipc.Client：重試連接到服務器： slave.domain.be./127.0.1.1:53834。已經嘗試了9次（s）; 重試策略是RetryUpToMaximumCountWithFixedSleep（maxRetries = 10，休眠時間= 1000毫秒） 2015-04-01 15：27：21078 WARN [主要] org.apache.hadoop.mapred.YarnChild：異常運行的子：的java。 net.ConnectException：從調用slave.domain.be./127.0.1.1到 slave.domain.be.:53834連接失敗例外： java.net.ConnectException：連接被拒絕;有關詳細信息，請參閱： http://wiki.apache.org/hadoop/ConnectionRefused在 sun.reflect.NativeConstructorAccessorImpl.newInstance0（本機方法）

所以問題是，從無法連接到本身..

我檢查是否有一個過程在偵聽端口53834的從節點上運行，但沒有。但是，所有'預期'端口正在偵聽（50020,50075，..）。在我的配置中沒有任何地方使用過端口53834.它在不同的運行中總是不同的端口。

解決此問題的任何想法？

來源

2015-04-01 user1254962

您的錯誤可能是由於您的hosts文件中的地址爲loopback。轉到/etc/hosts文件並在您的從節點和主節點（如有必要）中註釋127.0.1.1。現在啓動hadoop進程。

編輯：

爲此在終端編輯hosts文件，而無需root權限： sudo bash
輸入當前用戶的密碼進入root登錄。您現在可以使用編輯您的主機文件： nano /etc/hosts

來源

2015-04-02 04:05:06

感謝您的建議，但我應該提到，我沒有root訪問權限，不能編輯/ etc/hosts中 – user1254962 2015-04-02 09:03:30

更新的答案。瞭解更多。 – 2015-04-02 11:32:45

Hadoop客戶端無法連接到服務器

回答

相關問題