二進制crossentropy和二進制crossentropy與keras中的logits有什麼區別？

Question

在keras後端我們有一個標誌with_logits在K.binary_crossentropy。正態二叉交叉和二元交叉與logit有什麼區別？假設我使用的是seq2seq模型，輸出序列的類型爲100111100011101。

我應該如何使用遞歸LSTM或RNN從這些數據中學習，我在輸入中給出了類似的時序步驟？

Answer 1

這取決於您是否在丟失函數之前有一個S形圖層。

如果有S形圖層，它會將類別分數擠壓成概率，在這種情況下from_logits應該是False。損失函數將把概率轉換爲logits，因爲這就是tf.nn.sigmoid_cross_entropy_with_logits所期望的。

如果輸出已經是logit（即原始分數），則通過from_logits=True，不進行轉換。

這兩種選擇都是可能的，並且選擇取決於您的網絡架構。順便說一句，如果術語logit看起來很可怕，請看看this question，詳細討論它。