的Hadoop集羣配置

現在我想以一個新的Datanode添加到我的Hadoop集羣我需要停止或關閉Hadoop集羣，並添加新的數據節點我如何到Hadoop集羣中添加一個新的數據節點的Hadoop集羣配置

2014-05-04 Surender Raja

基本上，您停止羣集，將節點的IP地址添加到conf/slaves，然後再次重新啓動羣集。 PS：Iff啓動和停止很煩人（並且可能需要幾個小時才能處理大型文件羣），您可以在其中添加一些仿真IP，並且當有更多的從屬羣加入羣集時，您只需啓動它們即可。 Hadoop不關心有多少奴隸配置或關閉：它將使用它可以獲得的。而定義尚未存在的奴隸是在Hadoop中熱插入奴隸的好習慣。

來源

2014-05-04 15:03:29

因此，在添加新數據節點之前停止我的集羣是強制性的嗎？ –

在這種情況下：是的。因爲每個其他TT和DN必須知道整個羣集（並且從站配置僅在啓動時填充）。 –

因爲這有點奇怪，你可以爲未來的節點添加'保留'（未加入）的IP。這樣，只有在保留的IP用完時才需要關閉羣集:-)這也困擾了我。而像Facebook這樣的公司不會重新啓動Hadoop集羣來添加節點。我認爲這是大規模集羣的配置方式。 –

在這種情況下，您不需要關閉或重新啓動整個羣集。
首先，將新節點的主機名添加到主節點上的conf/slaves文件中。還要在所有機器上的etc/hosts文件中添加ipaddress和主機名，以便它們進行通信。然後登錄到新的從節點並執行以下命令：

$ cd path/to/hadoop 
$ bin/hadoop-daemon.sh start datanode 
$ bin/hadoop-daemon.sh start tasktracker

來源

2016-01-13 06:33:58

您不需要重新啓動hadoop羣集。根據此document，您可以在包含文件中添加節點，並在hdfs-site.xml和mapred-site.xml文件中進行一些更改，您可以實現此目的。詳細說明在this document

來源

2016-01-13 10:13:06 Thanga

的Hadoop集羣配置

回答

相關問題