我有一個二進制文件，其中包含信息塊（我將其稱爲數據包）。每個數據包由一個固定長度的頭部和一個可變長度的主體組成。我必須從包頭本身確定身體的長度。我的任務是從文件中讀取這些數據包並對它們執行一些操作。目前我正在執行此任務，如下所示：Java - 並行讀取二進制文件
正如您可以猜到，當文件大小是巨大的，連續讀取每個數據包並處理它是一個耗時的事情。我想以某種方式將這個操作（即數據包生成操作）並行化並將其放入某個阻塞隊列中，然後從隊列中並行檢索每個數據包並執行我的操作。
有人可以建議我怎麼可以並行生成這些數據包？
您應該只有一個線程在文件中按順序讀，因爲我假設該文件位於一個驅動器。讀取文件受限於您的IO速度，因此在CPU中並行化沒有意義。事實上，由於常規硬盤驅動器專爲順序IO而設計，因此非順序讀取實際上會顯着降低性能。對於讀入的每個數據包，應該將該對象放入線程安全隊列中。
現在您可以開始並行處理數據包。創建多個線程並讓它們分別從隊列中讀取數據包。每個線程都應該進行處理並將其放入一些「完成」隊列中。
IO線程讀完文件後，應設置一個標誌，以便在隊列爲空時工作線程停止。
我猜已知的快速方法是使用java.nio.MappedByteBuffer
這聽起來像是一個簡單的內存映射。如何使用它來發現存儲在非標準化字節邊界上的數據包？ – sarnold
如果頭部有長度，至少可以跳過數據包 - 如果不是，則執行並行掃描並調整！這絕對是一種將塊預加載到內存並掃描它們比使用文件指針更快的方法，並且提前 –
如果您在使用盤片（即不是SSD）時使用磁盤，那麼沒有任何一個線程讀取該文件是沒有意義的，因爲您所要做的只是將磁盤抖動，導致磁盤臂引入毫秒延遲。如果你有一個固態硬盤它是一個不同的故事，你可以平行閱讀。
相反，你應該有一個線程從文件中讀取數據，並創建數據包，然後執行以下操作：
然後，可以有許多其他的線程執行以下操作：在「B」旗語
這將確保您通過以連續的順序對數據包進行條帶化（儘快從磁盤中讀取數據包），並確保您一次處理多個數據包而無需輪詢。
謝謝@AnthonyM您的建議！我猜你們和上一個答案都指向同一方向，即並行處理數據包，而不是並行訪問文件。 – Sujay
每個數據包頭文件中的位置（第一個之後）是否取決於前面的數據包的大小？ –
@Ted：不是。我根據讀取字節的特定簽名來檢測下一個數據包頭的開始。它會在前一個數據包結束後的某處出現，但不會出現在任何特定位置。 – Sujay