我正在研究一個需要存儲大量溫度數據的系統。我可能會每秒存儲5個或更多的樣本。存儲頻繁溫度樣本的最有效的工具
我以前用一個相對簡單的mysql數據庫完成了這項工作,性能變得無法承受。插入不是太糟糕,但有明顯的負載。然而,查詢可能需要幾分鐘時間。
那時候,我有一些像50GB的數據,這很荒謬。我可以想出許多方法來壓縮或丟棄數據而不會丟失關鍵信息,但這是一個完全不同的問題。
我想挑選一個針對這種數據優化的工具/數據庫,最好是跨平臺的(至少linux/C++)。
RRD(循環數據庫)似乎是爲這類事情而構建的,但它似乎是爲處理數據而非爲存儲數據而設計的。
還有哪些其他工具可用?
編輯:詳細信息...
這將嵌入式系統(樹莓派)上運行,這樣的理想工具,具有低計算開銷,低內存佔用,也很少庫的依賴。
存儲可能不一定在同一設備上。
我想一個人爲的極端情況下,每小時的增長速度可能高達500k個樣本。更有可能的是每小時約20k個樣本。
不應該推定互聯網接入。
你可能想看看NoSQL或分區。我不明白爲什麼MySQL不能處理這些數據量。 – Kermit