Hadoop/Hive集羣。只有一個節點利用率

我有一個小的hadoop/hive集羣（共6個節點）。使用「hadoop dfsadmin -report」我看到，datanodes工作正常並且連接。此外，當我將數據添加到配置單元表中時，我可以看到數據在整個節點上分佈爲。（容易檢查，因爲使用的磁盤空間增加）。Hadoop/Hive集羣。只有一個節點利用率

我想在一張桌子上創建一些索引。從jobtracker http界面，我看到只有一個節點可用。我試圖運行多個查詢（我使用mysql作爲元數據），但它們似乎只在安裝配置單元的節點上運行。

基本上我的問題是如何讓jobtracker利用其他節點。

來源

2012-09-17 user1676389

從你告訴它看起來是：
的Datanode正確的所有節點上運行，並且能夠與NameNode的通信。
任務跟蹤器在除一個節點之外的所有節點上未運行，或者出於某種原因無法與作業跟蹤器通信。
在檢查完任務跟蹤器確實正在運行後 - 閱讀他們的日誌以找出他們與JobTracker進行通信的問題。

來源

2012-09-17 06:52:26

你說得對。我沒有注意到它，但jobtracker在節點上失敗。失敗的原因是愚蠢的（作業追蹤器日誌文件夾上的用戶權限）。我沒有注意到它，儘管一切都在運行。現在修復它，一切正常。 – user1676389

只有小修正 - 在節點上運行的deamons是TaskTracker的不是JobTracker –

Hadoop/Hive集羣。只有一個節點利用率

回答

相關問題