TokyoCabinet寫入速度太慢

Question

我有一個perl腳本（在Ubuntu 12.04 LTS中）寫入26個TCH文件。鍵大致均勻分佈。在3百萬個插入（平均分配到所有文件）之後寫入變得非常緩慢，並且速度從降低到240,000插入/分鐘在開始到在3個MM插入之後14,000個插入/分鐘。單獨的碎片文件不超過150 MB，整體大小約爲2.7 GB。

我在每一個TCH文件運行優化每100K插入後該文件與帶bnum爲4 * num_records_then和選項設置爲TLARGE，確保xmsiz帶bnum的尺寸相匹配（如提及Why does tokyo tyrant slow down exponentially even after adjusting bnum?）

即使在此之後，刀片從高速開始，然後從240k刀片/分鐘緩慢減少到14k刀片/分鐘。這可能是因爲在一個腳本中持有多個tch連接（26）？或者是有配置設置，我錯過了（會禁用日誌幫助，但上面的線程說日誌記錄會影響性能只有在tch文件變得比3-4GB大，我的分片是< 150MB文件..）？

Answer 1

我會關閉日誌並測量哪些更改。 引用的線程討論2-3 GB的tch文件，但如果您總結26個tch文件的大小，那麼您處於同一聯盟。對於文件系統，寫入的數據範圍的總量應該是相關參數。