Hadoop集羣：更大的節點或更多的節點

Question

一個簡單的問題：最好是有更多的節點分割資源或更少的「更強大的」節點？

Answer 1

這是一個可靠性，複製與一般性能的情況。

假設的磁盤，CPU和RAM均勻分佈的防空火炮與X_1節點的集羣，並與X_2節點的集羣，其中X_1 < X_2然後固定數量：

• 如果所有節點熬夜作業運行速度更快X_1
• 如果節點在作業期間死亡，X_2羣集上的剩餘資源可能會超過X_1羣集的剩餘資源。如果X_1只有1或2個節點，那麼想象一下就比較容易了。在這種情況下，額外網絡IO的成本可能會低於資源損失，因此X_2上的作業運行速度可能會更快。如果您的複製因子明顯受到集羣大小的限制，如果您想要複製3，那麼你需要3個節點。

Answer 2

那麼我這個簡單的問題並不是真的有一個簡單的答案:)取決於你的用例。

如果你有一個容易分裂的問題，那麼我想有更多的節點應該是要走的路。分而治之基本上。

但是，如果你的問題不容易分裂，那麼擁有更少的更強壯的節點是你剩下的唯一選擇。

一般來說，Hadoop是針對前一類問題。

我希望這會有所幫助。如果你能給我們更多的細節，我們應該能夠更好地幫助我。