算法來比較英語句子的相似度

Question

我有一個句子的集合，我需要分析他們看看他們有多相似。

是否有任何已建立的算法來做到這一點？

我關心：

含有相同的話（忽視拐點現在）
• 含有以類似順序

相同的話

我用Levenshtein距離和正克之前拼寫，雖然我不完全有信心，如果這些轉化爲我的目的。天真地說，「我不關心拼寫差異，錯別字可以被當作不同的單詞」，雖然也許很好解釋這一點。

也許在分割空間的句子和上述（或其他）算法之一的某種混合體將是一個起點

什麼選擇？有什麼建議？

謝謝！

Answer 1

This paper比較了幾個句子的相似度量。也許你可以按原樣使用其中的一種，或根據需要對其進行修改。

否則句子相似性測量是google的一個很好的關鍵詞。

Answer 2

要忽略語調你應該考慮所產生的算法：http://en.wikipedia.org/wiki/Porter_stemmer

他們減少的話他們的根形式。