0
我插入了大量數據,例如1百萬份文件。我應該如何插入它們?小測試後,我有不同的時間結果插入500和1000大小(批量)的數組中的所有數據。在我的使用情況下,500更快。我應該使用哪種緩衝區大小?有什麼建議麼?MongoDB巨大的批量插入性能
我插入了大量數據,例如1百萬份文件。我應該如何插入它們?小測試後,我有不同的時間結果插入500和1000大小(批量)的數組中的所有數據。在我的使用情況下,500更快。我應該使用哪種緩衝區大小?有什麼建議麼?MongoDB巨大的批量插入性能
對於像你所說的那樣的批量插入,最好使用適當命名的mongoimport
command line tool。
的mongoimport工具提供了從JSON,CSV或TSV出口由mongoexport,或潛在的,其他第三方導出工具創建的內容導入的路線......
AFAIK沒有一個確切的公式。這裏玩的變量太多了。你可以使用一個很好的折衷值(在不同的機器上測試之後)或一個自適應值(第一塊500,第二1000,第三2000)的時序性能,並使用該值進行後續調用(甚至可能將其存儲在配置中)。 –
我觀察到Javascript的行爲,同時向mongodb批量添加文檔。不是說它**是正確的答案,但JavaScript代碼可能每次嘗試增加200個文檔。 – displayName