將數據插入Berkeley DB在Big Data中性能很差

我已經拿到了80G Berkeley DB文件。我測量一個記錄（32字節鍵/ 100字節值）的平均插入速度是8ms而沒有事務。將數據插入Berkeley DB在Big Data中性能很差

與插入到相同接口的空數據庫相比，平均速度爲3〜6 us。

2012-11-08 xiaoningyb

那裏有問題嗎？ – Blazemonger

我對key_value數據庫太慢了。這是性能正常值嗎？我想知道是否有什麼我錯過了，可以提高我的速度？ – xiaoningyb

如果您在緩衝區爲空時插入數據，則它可以執行每個井，一旦系統的緩衝區已滿，在某些緩衝區空間更清晰之前，它們無法繼續。例如將數據寫入HDD的時間通常爲8毫秒。

我會測試一百萬條記錄的蕭條，在系統安靜後，看看緩衝區未滿時的延遲情況。

2012-11-09 08:02:27

感謝Peter，我確定緩衝區是空的，因爲我已經在開始的時候測試了速度。 – xiaoningyb

在謝謝的情況下，我建議是parititoning的數據。你不應該需要恕我直言，但它可能是你唯一的選擇。 –

回答