2013-01-06 61 views
0

我已經運行4個節點的Hadoop集羣,我問什麼辦法來管理該集羣遠程如何管理的Hadoop集羣

例如

管理我的筆記本電腦集羣的

  • 執行MapReduce任務的
  • 禁用或啓用數據節點

有沒有辦法做到這一點遠程?

回答

0

如果您使用的是Cloudera發行版,Cloudera Manager webapp會讓您這樣做。其他發行版可能有類似的控制應用程序。這會給你每個節點的控制權。

爲了執行MR任務,您需要設置通常從外部節點提交作業,指向正確的JobTracker和NameNode。所以我不確定你在那裏要求什麼。

+0

謝謝rgordan,這就是我要求的,但對於Apache的hadoop沒有cloudera分佈的hadoop,你有任何想法在Apache的每節點控制hadoop –

+0

你可以嘗試dfsadmin命令:添加配置參數:dfs .hosts.exclude,並讓它指向包含要刪除的節點的文件。然後調用命令: '斌/ Hadoop的dfsadmin -refreshNodes' 其次 '斌/ Hadoop的dfsadmin -report' 在行動中看到的結果。 – rgordon0

+0

非常感謝@ rgordon0我會嘗試你的解決方案 –