2017-10-12 94 views
1

我的理解是Softmax迴歸是Logistic迴歸的一般化,以支持多個類。Logistic迴歸直接支持多個類

Softmax迴歸模型首先計算每個類的分數,然後通過將softmax函數應用於分數來估計每個類的概率。

每個班級都有自己的專用參數向量

我的問題:爲什麼我們不能用Logistic迴歸分類到多個類的更簡單的方法一樣,如果概率是0到0.3,然後A類; 0.3至0.6然後B類:0.6至0.9然後C類等

爲什麼單獨的係數矢量總是需要的?

我是ML新手。不確定這個問題是否由於缺乏任何基本的概念理解。

回答

1

首先,就術語而言,我認爲一個更爲確定的術語是multinomial logistic regression

Softmax函數是計算概率的自然選擇,因爲它是corresponds to MLECross-entropy loss也有概率解釋 - 這是兩個分佈(輸出和目標)之間的「距離」。 建議您以人工方式區分類 - 輸出二進制分佈,並以某種方式將其與多類分佈進行比較。從理論上講,這是可能的,也可能有效,但肯定有缺點。例如,訓練很難。

假設輸出爲0.2(即A類),地面實況爲B類。您想告訴網絡向更高的值移動。下一次,輸出是0.7 - 網絡實際上學習並朝着正確的方向移動,但是您再次處罰它。事實上,有不穩定的點(在你的例子中爲0.30.6),網絡需要時間來學習關鍵的點。兩個值 - 0.29999990.3000001對於網絡幾乎沒有區別,但它們確定結果是否正確。

一般來說,輸出作爲概率分佈總是比直接歧視更好,因爲它提供了更多信息。