如何處理mongoDB中的數據4TB

Question

我試圖使用腳本在mongoDB中插入數據，但數據大小變爲4TB。如果我開始使用分片，合併和分割過程會變得更重。我的分片鍵是從objectID生成的時間戳。

如果我正確地做事情，請發表評論。

Answer 1

這是在分片鍵中使用monotonically-increasing field（例如時間戳或ObjectId）的缺點。所有數據最初都會寫入一個碎片（最後一個碎片），平衡器必須非常努力地分割碎片並將數據遷移到其他碎片。

有兩種解決方法給你：

1. 更改使用hashed sharding，而不是傳統的分片不等;這將更均勻地將插入物分佈在不同的碎片上。
2. 設計一個不同的分片鍵。