如何做在java內存映射壓縮文件的二進制搜索？

Question

我有問題，而接近Binary search in a sorted (memory-mapped ?) file in Java

我想要實現字符串二進制搜索中使用Java MappedByteBuffers一個大的文件，但在我的情況下，大的文件被壓縮用bzip2。假設文件是​​用-1選項100k塊壓縮的。 （其實我不知道確切的選項，但我可以重新包裝文件）。

我應該如何在這樣的MappedByteBuffer中搜索字符串？如何解壓1塊？是否有一些standart lib或我應該讀取標題，deflate節和crc？那些塊是100k壓縮狀態，還是100k它是未壓縮的數據長度？以及最後的塊如何？

有人在壓縮文件中完成BinarySearch，也許不是用Java？

Answer 1

您需要讀取文件以獲取每個塊的起始位置的索引。一旦你有這個，你可以做這些塊的二進制搜索。注意：如果您有底層記錄或密鑰，則可能會將其分成多個塊。

更好的解決方案是自己構建壓縮文件。將已知數量的記錄寫入一個塊並單獨壓縮這些記錄。另外，您可以編寫一個索引來說明每個塊的起始位置以及該塊的第一個鍵。這將允許您在不解壓縮所有密鑰的情況下找到正確的塊，並且只解壓縮一個塊而不是每個搜索的log2（n）塊。