2
我喜歡編程uni-gram語言模型。我喜歡計算每個單詞出現的概率，那麼我是否會將該單詞的出現次數與不同單詞的個數或訓練集中的整個單詞數相除？單字符語言模型中的字數是多少？
A
回答
6
除以訓練集合中的總數tokens，即單詞出現次數。原因很容易看出：如果除以不同單詞的數量，所有單詞的概率不一定等於一，所以它們不會形成概率分佈。
1
一個很好的介紹瞭解語言建模是Jurafsky的幻燈片： http://www.stanford.edu/class/cs124/lec/languagemodeling.pdf
相關問題
- 1. 單字節字符語言
- 2. 打印多語言字符
- 3. GridView中的多語言字符
- 4. Python的 - 名單多少數字是字符串
- 5. 字符/語言
- 6. python uuid（類型4）中的字符數是多少？
- 7. 識別這種語言的最少狀態數是多少？語言L與字母表的
- 8. 計算字符串中的字數（不僅是拉丁語言）
- 9. 以字符數據類型C語言存儲字符
- 10. 張量流中的字符級雙向語言模型
- 11. 多語言數字字符算作字母嗎？
- 12. 更改字符串中的字符 - 不完全是C語言
- 13. C＃ - 多語言字符串的「取消」
- 14. 多種語言模型
- 15. 轉換語言，文字到模型
- 16. 計數多少個字符是一個字符串輸出語法不正確
- 17. 希伯來語多語言[數字]
- 18. 替換字符串中的字符的成本是多少？
- 19. 如何strlen多語言字符串
- 20. Android字符串資源多語言
- 21. 拆分多語言字符串
- 22. 雙向多語言字符串對話
- 23. 多語言字符串編號
- 24. SQL插入多國語言字符
- 25. 刪除多語言字符串中的所有非字母字符
- 26. Drupal多語言：簡單的字符串沒有翻譯
- 27. 多少元運算符在C語言
- 28. Java計數從字符串中發生字符的次數是多少次
- 29. Android多語言和少數語言支持語言不支持語言區域
- 30. 這是什麼語言/字符集？
其實，如果它是由不同的字數量劃分，單獨一個單一項目的概率甚至可以超過100％...... – Pacerier 2016-04-14 07:05:01