多類神經網絡問題

Question

我一直在嘗試實現一段時間的反向傳播神經網絡，並且我一次又一次地面臨問題。目前的進展是，我的神經網絡適用於XOR，AND和OR。

下面的圖片顯示了我的神經網絡訓練XOR超過100000次迭代，它似乎收斂良好。爲此，我有2個輸入神經元和與2個神經元的隱藏層的單個輸出神經元它[雖然1就已經足夠了]

現在正在進行向前我訓練同一網絡的兩個區分在XY平面內的座標爲兩個類與2輸入神經元和1個輸出神經元和單隱層的相同結構具有兩個神經元：

下一個I訓練它僅但具有2個輸出神經元和結構的保持其餘兩個類同樣的，這段時間需要很長時間才能收斂，但它確實如此。 但現在我增加到三班; A類爲100和B類將是010和C級將是001，但現在，當我訓練它，然後它從來沒有收斂，並讓我對下面顯示的數據如下結果：

它似乎永遠不會匯聚。我觀察到這種模式，如果我增加輸出層神經元的數量，錯誤率就像任何東西一樣增加？我可以指導我去哪裏我錯了嗎？

Answer 1

如果您從二進制分類轉移到多類分類，則必須推廣反向傳播算法以正確處理兩個以上的類。

到二元分類的主要區別是，該更新更改：

與：

是其中選擇參數Y（輸出）的新得分得出特徵的最高分數乘以權重向量w。這種策略被稱爲one-vs.-rest。寫爲僞代碼（from here）：

請記住，根據自己的特定代碼，您可能需要執行其他變化（如地圖的實值輸出到二進制輸出每輸出單元）至你當前的代碼。

，如果你有由要劃分多個independent屬性你具有每類1個的二進制輸出節點的體系結構是完全沒有問題。否則，您應該考慮使用輸出層softmax（有關實現示例，請參閱here）。在輸出層中使用softmax激活會將原始值轉換爲後驗概率（而不是每個類的二進制輸出）。既然這給你一個確定性的措施，它也給你更多的見解。