隨機訪問多個文件和文件緩存

Question

這涉及到我已經給「修復」的一些軟件。最簡單和最快的解決方案將使其打開並從數百個隨機文件中讀取數十個文件，並提取一些非常短的字符串進行處理並立即關閉它們。另一個過程可能會在此之後出現，並對不同的或相同的隨機文件執行相同的操作，這可能會在幾秒鐘內發生數百次。

我知道現代操作系統將這些文件保存在內存中，因此磁盤顛簸不像過去那樣是個問題，但我正在尋找任何關於如何確定何時打開/關閉的文章或討論許多隨機文件成爲一個問題。

Answer 1

當您的工作集（所有進程讀取的數據量）超過可用RAM時，吞吐量將趨向於基礎磁盤的I/O容量。

從您對工作負載的描述來看，尋找時間將比數據傳輸速率更成爲問題。

當您的工作集大小保持在您擁有的RAM數量以下時，操作系統將保留所有數據緩存，並且在緩存填充後不需要轉到磁盤。