行爲測試/訓練階段

Question

漏失層按照Keras文檔輟學層表現出在訓練和測試階段不同的行爲：

請注意，如果您的模型在訓練和 測試階段不同的行爲（例如，如果它使用差，BatchNormalization等），你 需要學習階段標誌傳遞給你的函數：

不幸的是，沒有人談論的實際差異。爲什麼退出在測試階段的行爲不同？我期望圖層將一定數量的神經元設置爲0.爲什麼這種行爲取決於訓練/測試階段？

Answer 1

在訓練階段使用壓差來減少過度配合的機會。正如你提到的這個層去激活某些神經元。該模型將變得對其他節點的權重更不敏感。基本上，退出層的訓練模型將是許多減薄模型的平均值。檢查更詳細的解釋here

但是，在應用訓練有素的模型時，您希望使用模型的全部功能。您想使用訓練（平均）網絡中的所有神經元來獲得最高精度。