如何處理100 Mbps的輸入流時，我的程序只能在1 Mbps的速率

Question

我工作的一個項目，我們就可以有100 Mbps的輸入數據流處理數據。

我的程序可以在一夜之間用於捕捉這些數據，因此會產生大量的數據文件。我解釋這些數據的程序邏輯非常複雜，每秒只能處理1 Mb數據。

我們還轉儲字節得到處理後，一些日誌文件。我們不想丟失任何傳入的數據，同時希望我的程序能夠實時工作。我們正在維護一個像緩存一樣的循環緩衝區。

現在只迷路保存輸入數據的方式是增加該緩衝區的大小。

請提出更好的辦法來做到這一點，還什麼是緩存的另一種方法，我可以試試嗎？

Answer 1

將輸入流式傳輸到文件。真的，沒有別的選擇。它的速度超過了你的處理速度。

您可以每秒創建一個文件的輸入數據。這樣，當新文件在磁盤上進行流式傳輸時，您可以直接開始處理舊文件。