4
現在我正在使用CountVectorizer來提取功能。但是，我需要計算在擬合期間看不到的詞彙。CountVectorizer和詞外（OOV）令牌？
在轉換過程中，CountVectorizer的默認行爲是忽略在擬合過程中未觀察到的單詞。但我需要保持這種情況發生的次數！
我該怎麼做？
謝謝！
A
回答
1
scikit-learn沒有內置的方法來做到這一點，你需要編寫一些額外的代碼才能做到這一點。但是，您可以使用CountVectorizer的vocabulary_屬性來實現此目的。
- 緩存當前的詞彙表
- 呼叫fit_transform
- 計算與新詞彙的diff和緩存的詞彙
相關問題
- 1. 初始化詞彙表（OOV）令牌
- 2. 通行證令牌CountVectorizer
- 3. CountVectorizer讀寫詞彙
- 4. Symfony2和RememberMe令牌例外
- 5. 空的詞彙通過CountVectorizer
- 6. 意外令牌「+」
- 7. 意外令牌'
- 8. 意外令牌「（」
- 9. ANTLR：詞法不認令牌
- 10. 意外令牌「>」
- 11. 意外令牌} Javascript
- 12. 意外的令牌「}」「）」
- 13. 意外令牌「;;」 ocaml
- 14. 意外令牌ü
- 15. 意外的令牌}
- 16. 意外的令牌'}'
- 17. 意外的令牌;
- 18. 意外令牌：LIMIT
- 19. 意外的令牌'）'
- 20. 意外令牌「LIMIT」
- 21. 意外的令牌{
- 22. Jest和Webpack - 意外令牌導入
- 23. ajax方法和SyntaxError：意外的令牌「：」
- 24. Countvectorizer有詞不在數據中
- 25. CountVectorizer：沒有安裝詞彙表
- 26. 向CountVectorizer添加詞幹支持（sklearn）
- 27. Json + javascript意外的令牌：
- 28. Twitter stream.on意外令牌E
- 29. MarkerClusterer腳本：意外令牌
- 30. AjaxFileManager意外令牌<