神經網絡：代價不穩定

Question

我實現了一個簡單的神經網絡，用於python中的圖像分類（一類）。圖層很簡單（image_matrix，5,1）。對隱藏層使用relu和sigmoid。
我正在迭代5000次。起初看起來成本是以合理的方式逐漸下降的。
但是，無論有多少訓練示例使用，或者我learning_rate是什麼，成本開始每次大約3000次迭代後運行不穩定...
cost（點擊看原圖）
有人可以幫助我瞭解什麼是繼續？
謝謝

Answer 1

在訓練模型中，你應該記住他們的成本是多個局部最小值。您的圖表顯示您的成本正在圍繞這個當地最低標準移動，同時找到您的全球最小值，這是尋找模型最佳性能的目標。

1st - 您應該嘗試檢查每次迭代/時期的準確性，f1分數或損失，以檢查性能是否實際提高。

2日 - 做交叉驗證和檢查上面的驗證

3相同的指標 - 實現早日停止功能，如果你是模型，改善或不應該進行檢查。

*注意：找到能夠幫助您更好地找到全局最小值的最佳alpha值。