深度神經網絡：玻爾茲曼機器有多好？

Question

當堆疊波爾茲曼機器來生成預先訓練深度神經網絡時，重建的準確性有多高？如果它們太準確，那麼過度配合會成爲一個問題？或者在進行判別性微調時，精度過高只是紅旗？

Answer 1

在馬爾可夫鏈中燃燒的問題足以抑制遠離初始值的訓練集中的高能量區域。這是典型的使用CD（1）或任何低階對比分歧。也就是說，這些方法通常會初始化遠離本地最優值的權重，以免非預先訓練的網絡卡住。

RBM也用模擬退火訓練，所以更有可能探索更多的參數空間。

我也推薦你閱讀論文了解深度學習需要重新思考Zhang等人的泛化。它基本上顯示了這些網絡如何完全記住概率分佈，並且仍然可以推廣。