餘弦與Lucene的相似度僅適用於匹配的文檔

Question

據我所知，Lucene是一個反向索引系統，它的強大之處在於它只會將查詢與僅與至少匹配令牌的文檔進行比較。

與查詢與每個文檔進行比較（即使那些沒有提及查詢中存在的任何標記）的樸素方法相比，這是一個很大的好處。

例如，如果我有索引的文件：

D1: "Hello world said the guy" 
D2: "Hello, what a beautiful world" 
D3: "random text" 

當我看到它，搜索查詢：「世界，你好」，只會看入索引的文檔D1和D2和跳過D3，這可以節省時間。

這是正確的嗎？

現在，我試圖計算文件之間的餘弦相似度。輸入的查詢將是一個文檔，輸出應該是餘弦分數。這是一個介於0和1之間的數字。

我已經閱讀了一些計算餘弦相似度的方法，但他們都通過比較每個文檔的術語向量來做到這一點。例如this博客中提到以下幾點：

如果你確實需要的文檔之間的餘弦相似，你必須 啓用源字段項向量，並利用它們來計算 角度。問題是，這不能很好地擴展，你會 需要與幾乎所有其他文件計算角度。

這SO answers似乎說是相同的：

迭代所有文檔IDS，0至maxDoc（）;

是不是有沒有辦法只計算匹配查詢，讓這個回報比分爲文檔文件的餘弦相似？

作爲一個附註， 我確實讀到TFIDFSimilarity接近，我相信VSM部分正是我所需要的，但是這部分似乎已經在Lucene實用評分函數中消失了。我不知道如何才能「變換」這個相似性類，最後只剩下純餘弦相似性。

所以我的問題的概括：

1. 是我的逆指標如何節省時間，正確的認知？

2. 是否有辦法只計算 實際上與其中一個令牌匹配的文檔的餘弦相似度，而不是所有文檔？

3. 我可以使用/變換TFIDFSimilarity類來結束 純餘弦相似度嗎？

Answer 1

1. 這很大程度上取決於您如何制定查詢。如果您制定了一個布爾查詢，您可以指定查詢的哪些條款必須位於返回的文檔中。這是通過使用BoolenClause.Occur.MUST完成的。

2. 您可以通過擴展TFIDFSimilarity來編寫自己的相似度，但您可能會注意到Lucene的實際評分基於餘弦相似度。在該公式中，queryNorm（q）和norm（t，d）形成餘弦相似度的分母，並且求和是查詢向量和文檔向量的點積。

提示：您可以形成示例查詢並使用explain()來查看評分的詳細信息。