是邏輯迴歸大分類器？

Question

據我瞭解在SVM大幅影響：

例如，讓我們來看看這個圖片：

在SVM優化目標的調整項，我們試圖找到一組參數，其中， （參數向量）theta的範數很小。所以我們必須找到矢量theta，它是小的，並且在這個矢量上的正實例（p）的投影很大（以補償內積的小Theta向量）。在同一時間大p給我們大幅度。在此圖像中，我們發現理想的theta和大p與它（和大幅度）：

我的問題：

爲什麼迴歸並不大間隔分類？在LR中，我們以相同的方式最小化正則化項中的Theta向量。 也許我不明白的東西，如果是的話 - 糾正我。

我已經使用Coursera ml類的圖像和理論。

Answer 1

Logistic迴歸是一個巨大的損失。樂村在他的一篇或多篇關於基於能量學習的論文中提到了這一點。

要看到LR確實會產生一個餘量，看看softmax損失（相當於LR）會更容易一些。

有兩個方面的損失添加Softmax：L(z)=z_{true} - log(\sum_i \exp(z_i))

這意味着從它的真正的決策邊界的例子的距離需要從所有的決策邊界的跳動的距離的日誌總和。

因爲softmax函數是一個概率分佈，所以log softmax可以是最大值，所以log softmax返回一個接近0的負值（即罰分），作爲softmax函數下真實類的概率接近1.