不同的Hadoop節點

添加不同的文件，當我們在HDFS此命令不同的Hadoop節點

斌/ Hadoop的DFS文件添加-put input_folder輸入

。當我們添加文件時，它們被複制到所有節點。

有沒有什麼辦法可以在不同的節點上分發不同的文件，意思是假設我有4個文件A，B，C，DI會在節點1上添加文件A和B，剩餘在節點2上。這是情況可能嗎？

如果是，那麼在發生節點故障時會發生什麼？

2011-12-13 CodeBanger

任何理由這樣做？ –

我假設你沒有改變你的複製因子。默認值是3，這意味着每個文件都有三個副本。如果您有2個數據節點，則所有文件都將被複制到所有數據節點。減少這個值，直到它適合你的需求。

<property> 
    <name>dfs.replication</name> 
    <value>1</value> 
</property>

如果節點失敗，沒有其他副本存在，您將無法訪問這些文件

2011-12-13 10:22:39

我已經設置它2.因爲我有一個主人和奴隸，我的主人也充當奴隸。我的問題是我可以複製節點1上的文件A和B以及節點2上的文件B和C？然後總結那裏的結果。 – CodeBanger

@CodeBanger：不可以。 'FSDataOutputStream'負責寫入數據，聯繫人姓名節點保存文件。這門課沒有這樣的選擇。 –

thnx夥計。並使用對我有用的apache hadoop或cloudera hadoop？爲什麼？ – CodeBanger

回答