如何將輸入拆分存儲在hadoop集羣上

Question

例如，我們有4臺機器的集羣。我們想要存儲一個分解爲6個輸入分割的文件。現在我的問題是如何將這6個輸入拆分存儲在4臺機器的集羣中？

Answer 1

澄清分裂是邏輯分裂。 塊是物理分區。 當文件上傳到hdfs時，根據您的塊大小設置爲64mb（默認），文件被分成多個塊。

根據您的複製因子，數據根據默認塊放置策略分佈在數據節點中。

希望澄清..