HDFS上的文件塊

Question

Hadoop確保來自同一文件的不同塊將存儲在羣集中的不同計算機上嗎？顯然，複製塊將位於不同的機器上。

Answer 1

不可以。如果你看HDFS Architecture Guide，你會看到（在圖中）文件part-1的複製因子爲3，並且由標記爲2,4和5的三個塊組成。注意塊在一種情況下，2和5在同一Datanode上。

Answer 2

顯然並非如此：http://hadoop.apache.org/common/docs/r0.20.2/hdfs_user_guide.html#Rebalancer

Answer 3

相反，我認爲。拋開復制，每個datanode將每個數據塊作爲自己的文件存儲在本地文件系統中。

Answer 4

那麼Hadoop不能保證。由於這是一個巨大的安全性損失，如果您在作業中請求文件，則會導致完成的作業失敗。只是因爲一個塊不可用。無法想象你的問題的用例，也許你可以更多地瞭解你的意圖是什麼。