爲什麼hadoop不會將文件分發給所有節點？

Question

根據http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/的演練，我設置了一個4節點的hadoop羣集。我用1的複製（羣集只是爲了測試）

我從本地複製了2GB文件。當在http界面中瀏覽文件時，我發現它被分割爲31個塊，但它們都在一個節點上（主人）

這是正確的嗎？我如何調查原因？

Answer 1

它們都在一個節點上，因爲默認情況下Hadoop會首先寫入本地節點。我會猜測你正在使用該節點的Hadoop客戶端。由於您有一個複製，它只會在該節點上。

由於您只是在玩耍，所以您可能需要強制傳播數據。爲此，您可以使用hadoop rebalancer運行rebalancer。幾分鐘後控制它。