我目前正在研究需要計算海量數據的數據管理系統:想想一個包含大約1.5億個單元格的Excel表單數據。尋找內存中可擴展的對象存儲庫,其中包含多達1.5億個小型對象.net
我們使用sql server數據庫來存儲數據,但由於許多原因,計算性能是次優的。在考慮替代方案時,我想嘗試一下內存中的對象結構。
以下是一些基本要求:
我們需要的是支持多用戶做出對我的Excel類比的同一個「表」的更新的結構。如果一個更新的性能足夠高,所有用戶的序列化的更新是可以接受的
我們絕對不能接受的數據丟失
我們需要的對象關鍵指標,同時也對部分密鑰的一些指標,所以在內存中的結構必須支持非唯一的密鑰,從而對部分密鑰有效的搜索返回的匹配記錄的集合
必須支持.NET
鑑於這些條件,有什麼建議嗎?
謝謝
末爾
多大此細胞?讓他們記憶是否真的可行?當給予足夠的內存和適當的索引時,SQL服務器通常會做得很好。而沒有數據丟失的要求是另一個很好的理由,而不是保存在內存中。 – Groo 2011-12-23 14:59:48
這些單元格中的每一個都包含(平均取決於密鑰大小)50個字節。所以,是的,我相信將所有數據保存在內存中是可行的。除了當前基於sql server的模型之外,我正在探索將此作爲替代方案來嘗試下一版本的應用程序,該模型也可以進行大量改進。 – 2011-12-23 15:03:39