MongoDB：集合中的所有文檔

Question

我需要將66億個bigrams加載到集合中，但我找不到任何有關此操作最佳方法的信息。

將很多文檔加載到單個主鍵索引上將會花費很長時間，但據我所知，mongo不支持相當於分區？

分割會有幫助嗎？我應該嘗試將數據集分成多個集合並將該邏輯構建到我的應用程序中？

Answer 1

很難說什麼是最佳批量插入 - 這部分取決於您插入的對象的大小以及其他不可估量的因素。你可以嘗試一些範圍，看看什麼給你最好的表現。作爲替代，一些人喜歡使用mongoimport，這很快，但是您的導入數據需要是json或csv。如果數據是BSON格式，顯然有mongodrestore。

Mongo可以輕鬆處理數十億個文檔，並且可以在一個集合中擁有數十億個文檔，但請記住maximum document size is 16mb。 MongoDB中有很多人擁有數十億的文檔，並且在MongoDB Google User Group上有很多關於它的討論。如果您改變主意並希望擁有多個收藏集，請使用大量您可能喜歡閱讀的收藏集，這裏有一個document。你有更多的收藏品，你也會有更多的索引，這可能不是你想要的。

這是Craigslist的presentation關於將數十億個文檔插入MongoDB和該文檔的blogpost。

它確實看起來像分片將是一個很好的解決方案，但通常分片用於擴展多臺服務器和很多民間人士這樣做，因爲他們想要擴大他們的寫作或他們無法保持其工作集（數據和索引）在RAM中。從一臺服務器開始，然後隨着數據增長或移動到分片或副本集合，或者需要額外的冗餘和彈性，這是完全合理的。

但是，還有其他用戶使用多個mongods來解決大量寫入的單個mongod的鎖定限制。這很明顯，但仍值得一說，但與單一服務器相比，multi-mongod設置的管理更爲複雜。如果你的IO或cpu沒有超出這裏，你的工作集比RAM小，你的數據很容易保持平衡（非常隨機分佈），你應該看到改進（在單個服務器上分片）。作爲參考，存在內存和IO競爭的可能性。 2.2的改進concurrency與db locking，我懷疑這樣的部署將有更少的原因。

您需要計劃好正確的分步棋步，即仔細考慮選擇分片鍵。如果你這樣做，那麼最好預先拆分並關閉平衡器。要移動數據以保持平衡，這意味着您需要決定如何分割數據，這將會起到反作用。此外，設計文檔時有時很重要，即將某些字段用於分片或作爲主鍵。

下面是一些很好的聯繫 -

• Choosing a Shard Key
• Blog post on shard keys
• Overview presentation on sharding
• Presentation on Sharding Best Practices

Answer 2

你絕對可以shard data in MongoDB（它分割在shard key的N個服務器上）。事實上，這是它的核心優勢之一。在您的應用程序中沒有必要這樣做。

對於大多數使用情況，我強烈建議爲66億份文檔做這件事。根據我的經驗，MongoDB在一些中檔服務器上表現更好，而不是一個大型服務器。