需要存儲大量數據的好方法

Question

我以每16.66ms 4096字節的速率生成數據。這些數據需要不斷存儲並隨機讀取。將它放在關係數據庫中會很好，但我認爲做這麼多插入操作會爲我正在使用的處理器（ARM11）創造太多開銷。我不需要SQLite提供的所有功能。

事實上，只是將這些東西寫入文件似乎很誘人，因爲雖然大多數時候我會寫很多數據，但當我確實需要讀取數據時，我可以尋求我需要的塊。不過，我只知道我會遇到一些問題。特別是當我離開這個東西運行一天並以千兆字節數據結束時。

這似乎是一個非常天真的解決方案，我的問題，我需要別人告訴我，所以我可以開始考慮更好的解決方案。謝謝。

Answer 1

您應該添加更多的細節以獲得更好的答案。你有什麼用例，你需要ACID，你正在寫的是什麼存儲空間等等。

什麼是你的操作系統，你只寫了固定大小的記錄。只是說像我會做隨機訪問，這是我的寫入速度是太不明確。

你正在寫240千字節/秒，這是20 GB /天。

如果您剛剛修復了大小記錄，只添加數據並使用Linux，那麼純文件非常棒。也許考慮使用一些fsync調用，如果你的存儲速度夠快的話。