Ngram模型和平滑算法

Question

從實現的角度來看，哪種平滑算法簡單而有效？

我的訓練語料是一個十六進制轉儲的樣子，

64 FA EB 63 31 D2 62 22 19 BD 64 B5 63 17 4F 48 62 A8 64 11 0F 62 15 9B 64 9B 1F E1 63 62 BE 63 

我想建就可以了2,3,4,5-gram語言模型。最終我需要平滑！哪種平滑算法適合並且在這種情況下容易實現？

Answer 1

拉普拉斯（加一）smoothing應該很容易實現。當涉及到健壯性時，大多數n-gram工具（KenLM，SRILM，...）將默認爲Kneser-Ney smoothing。

有關不同平滑技術的性能概述，請參閱http://www.aclweb.org/anthology/P/P96/P96-1041.pdf