需要在Hadoop-2.0.0中手動創建dfs.domain.socket.path才能使用Impala？

Question

我按照說明配置hadoop-2.0.0羣集以安裝Impala。在hdfs-site.xml中，我添加了兩個屬性「dfs.client.read.shortcircuit」和「dfs.domain.socket.path」（/ var/lib/hadoop-hdfs/dn_socket）。

但是，當我通過start-dfs.sh啓動Hadoop集羣時，它無法啓動datanodes。登錄datanode說「無法統計路徑組件：'/ var/lib/hadoop-hdfs'」。然後我手動創建/ var/lib/hadoop-hdfs，然後再次啓動Hadoop集羣。它再次失敗，並且日誌說這是關於該目錄的權限問題。好的。我將hadoop-hdfs的所有者從根目錄更改爲ubuntu（ubuntu是機器用戶名）。現在它終於正常工作。

我只是困惑。我是否以正確的方式做？我們是否真的需要自己創建/ var/lib/hadoop-hdfs並更改該目錄的權限或所有者？或者我錯過了一些配置設置？

Answer 1

我遇到了使用Cloudera Manager的類似問題。這是一個嘗試以「單用戶模式」運行而不是使用root的問題。我認爲你正在做一些與用戶ubuntu類似的事情。這是乾淨的安裝還是升級/你上次安裝失敗了嗎？

我猜你是sudo-ed的地方，你應該運行一些'ubuntu'的東西。

如果您可以通過手動設置權限來實現它，請繼續。我有一種感覺，有很多root擁有的其他文件，應該由您的系統中潛伏的ubuntu擁有。

有趣的是，如果服務器中沒有關鍵數據，我發現它很容易非常徹底從舊安裝中刪除任何和所有文件，然後重新安裝新鮮。

Answer 2

我正在面對與啓動datanodes類似的問題。然後，我遇到了這個鏈接https://github.com/cloudera/Impala/wiki/Build-prerequisites，它表示我們需要手動創建/var/lib/hadoop-hdfs並設置適當的權限。這也解決了我的問題。