頻繁更新索引的FieldCache

Question

嗨
我的lucene索引經常用新記錄進行更新，我在索引中有5,000,000條記錄，並且正在使用FieldCache緩存我的一個數字字段。但在更新索引後，需要一段時間才能重新加載FieldCache（即時重新加載緩存原因文檔，表示DocID不可靠），那麼如何通過向FieldCache僅添加新添加的DocID來最大限度地減少此開銷，從而導致此功能變爲瓶頸應用。

IndexReader reader = IndexReader.Open(diskDir); 
int[] dateArr = FieldCache_Fields.DEFAULT.GetInts(reader, "newsdate"); // This line takes 4 seconds to load the array 
dateArr = FieldCache_Fields.DEFAULT.GetInts(reader, "newsdate"); // this line takes 0 second as we expected 
// HERE we add some document to index and we need to reload the index to reflect changes 

reader = reader.Reopen(); 
dateArr = FieldCache_Fields.DEFAULT.GetInts(reader, "newsdate"); // This takes 4 second again to load the array 

我希望有一個機制，通過增加僅對新增文件到我們的數組中的索引減少這個時候有這樣http://invertedindex.blogspot.com/2009/04/lucene-dociduid-mapping-and-payload.html 的技術來提高性能，但它仍然加載，我們已經把所有的文件和我認爲如果我們找到一種方法只是將新添加的文檔添加到陣列中，則無需重新加載它們全部

Answer 1

FieldCache使用弱引用來將索引讀取器用作緩存的關鍵字。 （通過呼叫IndexReader.GetCacheKey已被廢除）。對IndexReader.Open的標準呼叫FSDirectory將使用一個閱讀器池，每個閱讀器一個閱讀器。

您應該始終將最內層的閱讀器傳遞給FieldCache。查看ReaderUtil以獲取某個幫助程序的內容以檢索包含文檔的個人閱讀器。文檔ID不會在段中更改，將其描述爲不可預知/易失性時，它的含義是它將在兩個索引提交之間更改。已刪除的文件可能已被引用，段已合併，以及此類操作。

提交需要從磁盤中刪除該段（合併/優化），這意味着新的閱讀器不會有合併的段閱讀器，並且只要所有較舊的閱讀器關閉，垃圾收集器就會將其刪除。

永遠不要致電FieldCache.PurgeAllCaches()。它意味着測試，而不是生產使用。

添加2011-04-03;使用子閱讀器的示例代碼。

var directory = FSDirectory.Open(new DirectoryInfo("index")); 
var reader = IndexReader.Open(directory, readOnly: true); 
var documentId = 1337; 

// Grab all subreaders. 
var subReaders = new List<IndexReader>(); 
ReaderUtil.GatherSubReaders(subReaders, reader); 

// Loop through all subreaders. While subReaderId is higher than the 
// maximum document id in the subreader, go to next. 
var subReaderId = documentId; 
var subReader = subReaders.First(sub => { 
    if (sub.MaxDoc() < subReaderId) { 
     subReaderId -= sub.MaxDoc(); 
     return false; 
    } 

    return true; 
}); 

var values = FieldCache_Fields.DEFAULT.GetInts(subReader, "newsdate"); 
var value = values[subReaderId]; 

Answer 2

以下是我解決此問題的一種方法。您需要創建一個後臺線程來構造IndexSearcher實例，每隔一段時間一次。繼續使用當前的IndexSearcher實例，直到後臺線程中的新線程準備就緒。然後換出新的是你現在的那個。每個實例都充當索引從第一次打開時的快照。請注意，FieldCache的內存開銷增加了一倍，因爲您一次需要在內存中創建兩個實例。在發生這種情況時，您可以放心地寫信至IndexWriter。

如果您需要，您可以通過立即進行索引更改以進行搜索來進一步探索，儘管它可能會變得棘手。您需要將RAMDirectory與上面的每個快照實例相關聯，以將更改保留在內存中。然後創建第二個IndexWriter指向那個RAMDirectory。對於每個索引編寫，您需要寫入兩個IndexWriter實例。對於搜索，您將在RAMDirectory之間使用MultiSearcher，並在磁盤上使用正常索引。一旦IndexSearcher不再使用，RAMDirectory可以扔掉。我在這裏詳述了一些細節，但是這是一般的想法。

希望這會有所幫助。