2012-12-31 54 views
1

我正在研究一個需要存儲大量溫度數據的系統。我可能會每秒存儲5個或更多的樣本。存儲頻繁溫度樣本的最有效的工具

我以前用一個相對簡單的mysql數據庫完成了這項工作,性能變得無法承受。插入不是太糟糕,但有明顯的負載。然而,查詢可能需要幾分鐘時間。

那時候,我有一些像50GB的數據,這很荒謬。我可以想出許多方法來壓縮或丟棄數據而不會丟失關鍵信息,但這是一個完全不同的問題。

我想挑選一個針對這種數據優化的工具/數據庫,最好是跨平臺的(至少linux/C++)。

RRD(循環數據庫)似乎是爲這類事情而構建的,但它似乎是爲處理數據而非爲存儲數據而設計的。

還有哪些其他工具可用?

編輯:詳細信息...

這將嵌入式系統(樹莓派)上運行,這樣的理想工具,具有低計算開銷,低內存佔用,也很少庫的依賴。

存儲可能不一定在同一設備上。

我想一個人爲的極端情況下,每小時的增長速度可能高達500k個樣本。更有可能的是每小時約20k個樣本。

不應該推定互聯網接入。

+0

你可能想看看NoSQL或分區。我不明白爲什麼MySQL不能處理這些數據量。 – Kermit

回答

1

看起來像是在尋找一個時間序列數據庫。

我知道兩位候選人:

如果你能成爲一個更具體一點了解您的需求(REQ /秒,每天的數據增長,API類型,自我託管或完全託管的解決方案等),我可以進入更多細節或推薦其他解決方案。

祝你好運。

+0

謝謝,「時間序列」正是我所追求的。這些建議看起來不錯,但第一個是非常昂貴的,第二個有點臃腫。 – notlesh