跳過59GB fastq文件的前半部分處理後半部分：逐行閱讀還是fgetpos？

Question

我有「.fastq」格式的2〜59GB文本文件。 fastq文件是基因組學讀取來自音序器的文件。每4行是一個新的讀取，但行數是可變的。

的文件大小是大致59GB，並且有大約211M reads--這意味着，給予或採取，approximatley 211M * 4 = 844M線。我使用的程序，蝴蝶結，目前已做到以下選項的能力：

「--skip 105M --qupto 105M」

這基本上意味着「跳過第一105M讀取並只處理了到下一個105M的讀數。「通過這種方式可以分解文件的處理。問題是，它跳過的方式非常慢。它通常會讀取前105M的讀數，但不處理它們。然後一旦達到它給出的讀取值，它就開始比較。

我想知道如果我可以使用像C/C++的fsetpos這樣的位置來設置文件中間的位置[或任何地方]，我可能會把我放在一行中間的某個位置，然後從那裏找到第一個完整讀取的開始處理，而不是等待它讀取大約422M行，直到它到達需要去的地方。有沒有人有過在如此龐大的文件上做fsetpos的經驗，並且知道性能是否比它目前正在做的更好？

Thanks-- 尼克

Answer 1

是的，你可以定位到使用C++文件的中間。

對於大文件，其性能通常比讀取數據要好。

通常，對於一個文件中定位的過程：

1. 的請求時讀取該文件的目錄項。
2. 該目錄被搜索以找到文件 位置的軌道和扇區。
3. 注：有些文件系統可能有較大的 文件目錄的擴展，從而更多的數據需要被讀取。
4. 下一個讀，硬盤驅動器被告知到指定軌道 和部門，然後在數據讀取。

您正在節省時間從所有以前的數據通過通信端口進入內存（或忽略）。