從節點可以運行Hadoop Map/Reduce Job嗎？

Question

我在兩個節點（主節點和從屬節點）上安裝了Hadoop。我會問，如果我可以從Slave機器運行Map/Reduce作業或從Slave機器使用HDFS。通過從主節點運行map/reduce作業沒有問題，但是當我嘗試從從節點運行Map/Reduce作業時，出現以下錯誤。

Java.net.connectionException連接異常失敗。

Answer 1

只要每個節點都配置了正確的jobtracker位置屬性，就可以從羣集中的任何計算機運行作業。實際上，只要您連接到服務器（即沒有防火牆），並且Hadoop配置了正確的jobtracker和namenode，就可以從任何機器（包括個人臺式機或筆記本電腦）運行作業。

確保mapred.job.tracker在從站上配置到主站的主機和端口。類似於master.com:8021。並確保可以在從站和主站之間建立連接，例如通過運行telnet master.com 8021。我假設你可以建立連接，因爲主（jobtracker）可以在tasktracker上安排任務。