讀取文件中最後一行的最快方法

Question

我正在使用RandomAccessFile從大文件讀取一些信息。 RandomAccessFile有一個方法seek，它將光標指向我想要讀取整行的文件的特定部分。要閱讀這一行，我使用readLine()方法。

我之前閱讀了這個整個文件，然後創建了一個索引，允許我使用seek方法訪問任何行的開頭。這個指數工作正常。 我創建了一個基於這個答案此指數：https://stackoverflow.com/a/42077860/763368

因爲我必須做很多在這個文件的訪問，性能十分照顧，於是我找了其他的選擇來讀取文件將涉及的重要問題特定的線路並獲得整條線路。

我看過FileChannel與MappedByteBuffer是一個很好的選擇來快速讀取文件，但我沒有看到任何解決方案，做我想做的。

P.S .:線條有不同的長度，我不知道這個長度。

有沒有人有一個很好的解決方案？

編輯：

文件我要讀有遵循格式：關鍵\t值

該指數是與該文件已經鍵的所有鍵和值一個HashMap是字節位置（Long）。

讓我們假設我想進入該關鍵「富」行，那我一定設法值位置，就像這樣：

raf.seek(index.get("foo")) 

如果我使用raf.readLine()回報率將是整個與鑰匙「foo」一致。

但我不想使用RandomAccessFile進行這項工作，因爲它太慢了。

這是我在斯卡拉現在做的方式：

val raf = new RandomAccessFile(file,"r") 
raf.seek(position.get(key)) 
println(raf.readLine) 
raf.close 

Answer 1

如果您已經有通過文件讀取一次找到鑰匙的指數，絕對速度最快的解決辦法是讀線並記住它們。如果由於某些原因（例如內存限制）不起作用，使用緩衝區確實是一個很好的選擇。這是代碼大綱：

FileChannel channel = new RandomAccessFile("/some/file", "r").getChannel(); 

long pageSize = ...; // e.g. "3 GB or file size": max(channel.size(), THREE_GB); 
long position = 0; 
ByteBuffer buffer = channel.map(FileChannel.MapMode.READ_ONLY, position, pageSize); 

ByteBuffer slice; 
int maxLineLength = 30; 
byte[] lineBuffer = new byte[maxLineLength]; 

// Read line at indices 20 - 25 
buffer.position(20); 
slice = buffer.slice(); 
slice.get(lineBuffer, 0, 6); 
System.out.println("Starting at 20:" + new String(lineBuffer, Charset.forName("UTF8"))); 

// Read line at indices 0 - 10 
buffer.position(0); 
slice = buffer.slice(); 
slice.get(lineBuffer, 0, 11); 
System.out.println("Starting at 0:" + new String(lineBuffer, Charset.forName("UTF8"))); 

此代碼也可以用於非常大的文件。只需撥打channel.map找到「頁」裏你的關鍵所在位置：position = keyIndex/pageSize * pageSize，然後調用buffer.position從指數：keyIndex - position

如果你真的沒有任何辦法組獲得一「頁」在一起，那麼你不需要slice。業績不會好，但是這可以讓你簡化代碼進一步：

byte[] lineBuffer = new byte[maxLineLength]; 
// ... 
ByteBuffer buffer = channel.map(FileChannel.MapMode.READ_ONLY, keyIndex, lineLength); 
buffer .get(lineBuffer, 0, lineLength); 
System.out.println(new String(lineBuffer, Charset.forName("UTF8"))); 

注意，ByteBuffer未在JVM堆上創建，但實際上是在操作系統級別內存映射文件。 （從Java 8開始，您可以通過查看源代碼並在實現中搜索sun.nio.ch.DirectBuffer來驗證這一點）。

線尺寸：獲得行大小的最好方法是儲存它，當你通過文件掃描，即使用Map[String, (Long, Int)]，而不是現在使用的是什麼index。如果不爲你工作，你應該運行一些測試，以找出什麼是快：

• 只存儲最大行的大小，然後搜索這個最大長度的字符串中的換行。在這種情況下，請注意您覆蓋了在單元測試中訪問文件的末尾。
• 用ByteBuffer.get繼續掃描，直至遇到\n。如果您有真正的Unicode文件，那麼這可能不是一種選擇，因爲換行的ASCII碼（0x0A）可以出現在其他地方，例如UTF-16編碼的韓文音節中帶有字符代碼0xAC0A。

這將是第二個方法的Scala代碼：

// this happens once 
val maxLineLength: Long = 2000 // find this in your initial sequential scan 
val lineBuffer = new Array[Byte](maxLineLength.asInstanceOf[Int]) 

// this is how you read a key 
val bufferLength = maxLineLength min (channel.size() - index("key")) 
val buffer = channel.map(FileChannel.MapMode.READ_ONLY, index("key"), bufferLength) 
var lineLength = 0 // or minLineLength 
while (buffer.get(lineLength) != '\n') { 
    lineLength += 1 
} 
buffer.get(lineBuffer, 0, lineLength - 1) 
println(new String(lineBuffer, Charset.forName("UTF8")))