東京內閣 - 擊中1萬後插入更慢

Question

我正在評估東京內閣表引擎。插入率在達到100萬條記錄後顯着下降。批量大小爲100,000，並在交易中完成。我嘗試設置xmsiz，但仍然沒有用。有沒有人用東京內閣面對這個問題？

詳細

東京櫃 - 1.4.3
Perl綁定 - 1.23
操作系統：Ubuntu的7.10（的VMware Player在Windows XP的頂部）

Answer 1

我剛纔設置的緩存選項，現在它顯着更快。

Answer 2

我想修改在DBTUNE功能的帶bnum參數也會給一個顯著的速度提升。

Answer 3

我在每個碎片上撞擊了一百萬條記錄的磚牆（在客戶端分片，沒有什麼奇特的）。我嘗試過各種ttserver選項，他們似乎沒有什麼區別，所以我看着內核側，發現

echo 80 > /proc/sys/vm/dirty_ratio

（前值爲10）給予了很大的改進 - 以下是總規模數據（8個碎片，它的每一個自己的節點上）打印每分鐘：

 
total: 14238792 records, 27.5881 GB size 
total: 14263546 records, 27.6415 GB size 
total: 14288997 records, 27.6824 GB size 
total: 14309739 records, 27.7144 GB size 
total: 14323563 records, 27.7438 GB size 
(here I changed the dirty_ratio setting for all shards) 
total: 14394007 records, 27.8996 GB size 
total: 14486489 records, 28.0758 GB size 
total: 14571409 records, 28.2898 GB size 
total: 14663636 records, 28.4929 GB size 
total: 14802109 records, 28.7366 GB size 

所以，你可以看到改善是在7-8倍左右。在這一點上，數據庫大小約爲每個節點4.5GB（包括索引），節點有8GB RAM（因此dirty_ratio爲10意味着內核試圖保持少於約800MB的髒）。

接下來我會嘗試的是ext2（當前：ext3）和noatime，並且將所有內容保留在虛擬硬盤上（這可能浪費兩倍的內存量，但可能是值得的）。