Caffe sigmoid交叉熵損失

Question

我對this tutorial規定的多標籤分類問題使用了sigmoid交叉熵損失函數。然而，在教程和我的結果的結果中，輸出預測的範圍是(-Inf, Inf)，而sigmoid的範圍是[0, 1]。 sigmoid是否只在backprop中處理？也就是說，不應該向前傳球擠壓輸出？

Answer 1

在這個例子中，"SigmoidCrossEntropyLoss"層的輸入是完全連接層的輸出。事實上，對"InnerProduct"圖層的輸出值沒有限制，它們可以在[-inf, inf]範圍內。
但是，如果仔細檢查"SigmoidCrossEntropyLoss"，您會注意到它包含"Sigmoid" layer inside - 以確保穩定的梯度估計。
因此，在測試時，您應該用簡單的"Sigmoid"圖層替換"SigmoidCrossEntropyLoss"以輸出每類預測。