在進程內存中緩存大量數據

我正在金融行業工作。我們想要推出數據庫命中數據處理。這是非常昂貴的。所以我們打算採用按需緩存邏輯。 [運行時插入&運行時查找]在進程內存中緩存大量數據

有沒有人在超過1000萬記錄的緩存邏輯的實施工作？每個記錄約160 - 200字節。

我面臨着不同方法的缺點。

如果你遇到過這個問題並且以任何方式解決，請給我一些建議。

感謝

2011-07-12 Naveen

DB索引通常通過BTrees實現，而不是std :: map（R＆B二叉樹）。 BTrees對於你所談論的尺度更有效。 – littleadv

您可以在進程之間使用共享內存和內存映射文件。至少在linux上。你在使用什麼操作系統？ –

這是一個關鍵價值商店還是更復雜的東西？ –

如果緩存是一個簡單的key-value存儲，你不應該使用std::map，其中有Ø（日誌ñ）查找，但std::unordered_map，其中有Ø（1）查找。如果您需要排序，則只應使用std::map。

這聽起來像表現是你以後，所以你可能想看看Boost Intrusive。您可以輕鬆地將unordered_map和list組合起來創建一個高效LRU。

2011-07-12 19:13:58

讀到的一切到內存中，並創建R代表鍵訪問& B +樹。

在最近的一個項目中，我們曾與一些10S M唱片公司的數據庫，並使用這種策略是。

從您的帖子中，您的數據權重爲2GB。隨着開銷，它會出現兩倍。對於任何64位體系結構來說都沒有問題。

2011-07-12 18:13:05

@Daniel .... std :: map只在內部使用紅黑樹。數據也一次不可用。緩存在指數上隨着時間增長。在早上它可能沒有記錄，但在一天結束時，它可能有10毫米的記錄。 – Naveen

你需要什麼時間閱讀和插入？另外，你是否需要某種迭代器？ –

另外考慮到這一點：插入時間並不重要，因爲它會被吃掉，因爲數據將來自「外部」，因此取出將會很慢。所以你需要關注讀取。我相信你std :: map使用RB樹，但是我知道我們的實現在幾微秒內從我們的數據結構返回了1000條記錄。 –

我最近更改了我們的產品（3D醫學卷瀏覽器）的內存分配以使用舊的內存映射文件。

的優點是：

在我的情況下，它只是數據（大部分是隻讀的）。如果你有一個更復雜的數據結構，這將比使用「普通」對象更多的工作。

實際上你可以在不同的進程之間共享這些進程（如果它們是由真實文件支持的話）。這可能會有不同的表現，我沒有這方面的經驗。

2011-07-12 18:15:14

回答