如何使用Apache Whirr在AWS上建立單節點Hadoop實例？

Question

我正在嘗試使用Apache Whirr在Amazon Web Services上運行Hadoop的單節點實例。我設置whirr.instance-templates等於1 jt+nn+dn+tt。實例啓動正常。我能夠創建目錄，但是當我嘗試put文件時，我得到一個File could only be replicated to 0 nodes, instead of 1 error。當我執行hadoop fsck /時，出現Exception in thread "main" java.net.ConnectException: Connection refused錯誤。有人知道我的配置有什麼問題嗎？

Answer 1

我做了這樣的經歷，即呼呼聲並不總能啓動所有可靠的服務。這聽起來像namenode開始（namenode負責存儲目錄信息），但datanode沒有啓動（datanode存儲數據）。

嘗試運行

hadoop dfsadmin -report 

，看是否有數據節點可用。

如果不是，經常有助於重新啓動羣集。