未知詞的詞性標註和已知詞的詞性標註之間有什麼不同?是否有任何工具可以預測詞類的詞性標註...未知詞和已知詞的詞性
0
A
回答
3
處理詞彙外單詞的一種常見方式是將訓練語料庫中發生率低的所有單詞(例如頻率< 3)與標記* 罕見 *,所以標記可以大致捕獲如何標記罕見的話。然後在測試階段,將每個不在標註詞彙表中的單詞視爲* RARE *。
更簡單的方法是使用大多數標籤標記每個詞彙表外的單詞。以下代碼使用nltk工具箱將每個看不見的單詞標記爲'NN'。
tagger = nltk.UnigramTagger(trainingCorpus, backoff=nltk.DefaultTagger('NN'))
0
TnT tagger's paper提出了標記生詞的有效方法。
使用詞典處理未知單詞的另一種方法可以在this article中找到。文章顯示,與包括保加利亞語,捷克語,荷蘭語,英語,法語,德語,印地語,意大利語,葡萄牙語,西班牙語,瑞典語,泰語和越南語在內的13種語言的TnT相比,基於詞彙的方法獲得了有希望的詞語標註結果。 。您還可以在文章中找到13種語言的TnT和其他兩種POS和形態標註器的準確性結果(針對已知字詞和未知字詞)。
相關問題
- 1. 已知單詞nlp.vocab
- 2. 選擇查詢和未知謂詞值
- 3. NSInvalidArgumentException',原因:'謂詞的未知謂詞類型:BLOCKPREDICATE(0x70ad750)'錯誤
- 4. 的preg_match():未知的修飾詞「(」 PHP
- 5. 的preg_match():未知的修飾詞 '@'
- 6. 的preg_match未知的修飾詞「[」
- 7. 的preg_match錯誤未知的修飾詞 '('
- 8. 的preg_match()給未知的修飾詞「$」
- 9. 的preg_match()未知的修飾詞 '[' 幫助
- 10. PHP RegExpr錯誤未知的修飾詞「(」
- 11. preg_match_all結果在「未知的修飾詞‘*’」
- 12. 包含php的未知單詞
- 13. 警告:preg_match_all():未知的修飾詞 '4'
- 14. 未知的修飾詞「L」錯誤
- 15. 使用正則表達式忽略位於兩個已知單詞之間的未知單詞
- 16. 乘客未知原因詞組
- 17. 匹配固定長度的單詞與已知的未知字符順序
- 18. QML詞典(jsobject,var)子屬性通知
- 19. PHP語句使用已知單詞詞典的大寫專有名詞的字符串?
- 20. PHP - 的preg_match和「未知的修飾詞」的錯誤
- 21. 如何使用sed替換特定單詞後的未知單詞?
- 22. 我如何知道python中的單詞有多少個單詞?
- 23. NLTK單詞詞性標註
- 24. Marklogic值詞典和單詞詞典
- 25. 通知位置描述中的[名詞]
- 26. RDF詞彙和謂詞
- 27. 爲副詞和形容詞獲取相應的動詞和名詞
- 28. 你如何忽略sscanf中的已知單詞?
- 29. 如何使用已知的值類型創建詞典?
- 30. 名詞同義詞詞網
相關但不是非常有用的,如果OP是不是編碼在python =) – alvas