二元分類成本函數，神經網絡

Question

我一直在調整深度學習tutorial訓練二元分類問題Logistic迴歸模型的權重，本教程使用下面的負對數似然成本函數...

self.p_y_given_x = T.nnet.softmax(T.dot(input, self.W) + self.b) 

def negative_log_likelihood(self, y): 
    return -T.mean(T.log(self.p_y_given_x)[T.arange(y.shape[0]), y]) 

但是，我的權重似乎沒有正確收斂，因爲我的驗證錯誤在連續時期增加。

我想知道如果我使用適當的成本函數來收斂適當的權重。這可能是有用的注意，我的兩個類是非常不平衡的，我的預測已經歸我能想到的

Answer 1

幾個原因是：

1. 你的學習率過高

2. 對於二進制分類，嘗試平方誤差或交叉熵錯誤，而不是負對數似然。

3. 您只使用一層。可能是您使用的數據集需要更多圖層。因此連接更多隱藏層。

4. 玩弄層數和隱藏單位。