Lucene多語言文本字段

Question

我已經看了這個問題 - Indexing multilingual words in lucene，它證實了我的一些懷疑。

我有一個實體有很多我希望索引的字段。其中一個字段可以是幾種語言之一，我需要爲每種語言使用不同的分析器。

我是否最好將其作爲同一索引中的不同字段或每種語言的不同索引來實現？

我猜測這種折衷是在運行多個索引的開銷和混淆單個索引的過程之間進行的。

任何意見讚賞。

Answer 1

還有一個你沒有提到的想法：你可以使每種語言都是一個非存儲的非索引字段。然後，您可以將所有（分析過的）數據複製到單個存儲的+索引字段中，並且其行爲就像搜索單個字段一樣。 （這與Solr的「複製字段」類似 - 我不確定在休眠時有多難。）

如果您將它們保留在單獨的索引中，則應該注意，您將無法輕鬆搜索各種語言（或者可以說，完全可以）。所以，如果你想允許像「english：foo dutch：foo」這樣的查詢，你將需要它們在同一個索引中。

從性能的角度來看，它取決於共享多少數據。如果文檔不相交（即沒有文檔中有兩種語言），那麼在一個索引與兩個索引之間可能沒有太大的區別。它們共享的數據越多，Lucene將複製的內存就越多，因此擁有一個索引會更好。我的猜測是，這只是一個問題，如果你有很多存儲的數據，但是YMMV。