Lucene評分函數 - 偏向較短的文檔

Question

我希望Lucene評分函數根據文檔的長度沒有偏差。這真的是一個後續問題Calculate the score only based on the documents have more occurance of term in lucene

我想知道Field.setOmitNorms（true）是如何工作的？我看到有兩個因素使得短文件得到了很高的分數：

1. 「助推」較短長的職位 - 在規範的定義使用doc.getBoost（）
2. 「lengthNorm」（T， d）

Here is the documentation

我想知道 - 如果我想向更短的文件沒有偏見，是Field.setOmitNorms（真）就夠了嗎？

Answer 1

當您使用TF-IDF評分時，較短的文檔意味着更相關。

您可以在Lucene中使用您的自定義評分函數。它很容易定製評分算法。子類DefaultSimilarity並覆蓋您想要自定義的方法。

有一個代碼示例here，這將幫助你實現它

Answer 2

使用BM25Similarity你可以減少到0F：

@參數B控制到什麼程度文檔長度標準化TF值

或

@參數k1控件否n線性項頻率歸一化（飽和）。

未參數會影響SimWeight

indexSearcher.setSimilarity(new BM25Similarity(1.2f,0f)); 

更多的解釋可以在這裏找到：http://opensourceconnections.com/blog/2015/10/16/bm25-the-next-generation-of-lucene-relevation/