多類別文檔分類

Question

我寫了一個基於Naive Bayes algorithm的分類程序，它很好地將一個文檔分類到一個類別。但是，我的情況已發生變化，我現在需要將文檔分爲N個類別。

基本上我需要從'垃圾郵件'/'非垃圾郵件'分類轉換爲'垃圾郵件和撲克'，'垃圾郵件和其他'，'非垃圾郵件'。

我想到了2個選項：

1. 調整算法，並獲得通過的概率排序的可能類別。這可以工作，但對我來說這似乎不正確。你怎麼看 ？

2. 使用完全不同的算法，在這種情況下，您會推薦哪一種？

預先感謝您的反饋:)

Answer 1

我們使用來自Weka的圖書館http://www.cs.waikato.ac.nz/~ml/weka/ J48算法（http://de.wikipedia.org/wiki/J48）和它的工作太棒了！

而且Lingpipe是偉大的工作http://alias-i.com/lingpipe/

兩個是很容易實現，並正在開箱。

Answer 2

沒有理由不將樸素貝葉斯拓展到多個類別 - 實際上它是一個簡單的分類器，自然延伸到多類別的情況。如果您的類別「垃圾郵件和撲克」，「垃圾郵件和某些東西」，「不是垃圾郵件」完全不相交，您可以將其視爲單一的三種分類任務：如果您的類別c_1，c_2和c_3具有先驗概率p_1，p_2和p_3以及可能性（實例給定類的概率）l_1，l_2和l_3，則該類的後驗概率與其先前時間成正比（其可能性正比於正整數p_1 * l_1 + p_2 * l_2 + p_3 * L_3）。對於任何數量的類都是如此。

但是，我懷疑你可能會在實踐中發現更好的性能，首先判斷它是否是垃圾郵件，然後確定垃圾郵件的類型（兩階段分類過程）。

如果您碰巧有機會訪問Tom Mitchell的「機器學習」一書，那麼這本書很容易理解。

Answer 3

由於你的類不是不相交的，所以這是多標籤分類。 scikit-learn軟件包中有support for that使用簡單的one-versus-rest規則（又名二進制相關性）：對於垃圾郵件/非垃圾郵件，撲克/非撲克等每個決策，都要對單獨的分類器進行培訓，並且預測時間，每個都在測試樣本上獨立運行。

更智能的方法包括classifier chains。

（聲明：我寫sklearn多標籤分類代碼的部分，所以這不是公正的意見）