Lucene：索引流（不適用於緩衝區）

Question

我想使用Lucene索引正在讀取的流。由於數據量大，內存有限，我無法將整個事物放入緩衝區;相反，我希望Lucene從流中索引，索引，等待更多的數據可用，消耗更多，直到EOF。

Lucene應該只緩衝它所需要的東西：也就是說，直到獲得足夠的字符來結束令牌爲止，這個部分令牌。

我可以使用Lucene嗎？怎麼樣？

Answer 1

您應該能夠將Reader傳遞到您的字段構造函數中，而不是String。我相信這不需要將整個領域都讀入內存（我沒有真正做過很好的測試）。您無法將保存在中，但如果無法將其加載到內存中，您爲什麼要這麼做？

但是，我不相信任何方法一次只能讀取部分標記。我相信你需要能夠將每個令牌加載到內存中的絕對最小值。如果您的代幣太大以至於無法使用可用內存，則可能需要重新考慮分析方案。