LSTM神經網絡中的損失函數

Question

我不明白在這些網絡中最小化的是什麼。 當LSTM網絡中的損失變小時，有人能解釋一下數學上的情況嗎？

model.compile(loss='categorical_crossentropy', optimizer='adam') 

Answer 1

從keras documentation，categorical_crossentropy只是多類logloss。對數損失的數學和理論解釋here。

基本上，LSTM將標籤分配給單詞（或字符，取決於您的模型），並通過懲罰單詞（或字符）序列中不正確的標籤來優化模型。該模型需要輸入單詞或字符矢量，並根據訓練樣例嘗試猜測下一個「最佳」單詞。分類交叉熵是衡量猜測有多好的量化方法。當模型遍歷訓練集時，在猜測下一個最佳單詞（或字符）時會減少錯誤。