如何平滑unigrams

Question

我有一個unigram語言模型，我想平滑計數。是添加一個平滑的唯一方法或我可以使用其他平滑也。我不認爲我們可以使用knesser，因爲這是N> N = 2的Ngrams。任何其他平滑方法你知道嗎？

威登鍾怎麼樣？

Answer 1

對於unigram平滑，Good-Turing將是最優的...並且它很容易（適用）！

http://en.wikipedia.org/wiki/Good%E2%80%93Turing_frequency_estimation

對於更高的訂單，修改插值Kneser-奈伊是一個不錯的選擇。