基於數據大小的Hadoop數據節點

Question

我想根據數據大小來估計資源。 是否有一個基於數據大小決定所需數據節點數的拇指規則？

Answer 1

不，不是真的。通常在典型的Hadoop集羣中，每個節點有一個DataNode。
對不起，簡短的回答，但多數民衆贊成在！ :)
請記住，Hadoop更喜歡處理少量的大文件。

Answer 2

請記住，數據（默認情況下）會被複制3次（原始複製+ 2次以上）。也就是說，如果您有15TB的數據，則至少需要45TB的磁盤空間才能容納副本。

副本不能在同一個節點上，因此假設默認配置，您至少需要3個具有15TB存儲的Datanodes。