0
我已經運行4個節點的Hadoop集羣,我問什麼辦法來管理該集羣遠程如何管理的Hadoop集羣
例如
管理我的筆記本電腦集羣的
- 執行MapReduce任務的
- 禁用或啓用數據節點
有沒有辦法做到這一點遠程?
我已經運行4個節點的Hadoop集羣,我問什麼辦法來管理該集羣遠程如何管理的Hadoop集羣
例如
管理我的筆記本電腦集羣的
有沒有辦法做到這一點遠程?
如果您使用的是Cloudera發行版,Cloudera Manager webapp會讓您這樣做。其他發行版可能有類似的控制應用程序。這會給你每個節點的控制權。
爲了執行MR任務,您需要設置通常從外部節點提交作業,指向正確的JobTracker和NameNode。所以我不確定你在那裏要求什麼。
謝謝rgordan,這就是我要求的,但對於Apache的hadoop沒有cloudera分佈的hadoop,你有任何想法在Apache的每節點控制hadoop –
你可以嘗試dfsadmin命令:添加配置參數:dfs .hosts.exclude,並讓它指向包含要刪除的節點的文件。然後調用命令: '斌/ Hadoop的dfsadmin -refreshNodes' 其次 '斌/ Hadoop的dfsadmin -report' 在行動中看到的結果。 – rgordon0
非常感謝@ rgordon0我會嘗試你的解決方案 –