CLDNN（tensorflow）中的尺寸減少

Question

我正在嘗試使用張量流編寫CLDNN的實現，就像this scheme中的那個一樣。我遇到了尺寸縮小圖層的問題。

據我瞭解，它是由幾個堆疊式限制玻爾茲曼機器（RBMs）製成的，並且像自動編碼器一樣工作。該層的解碼器部分僅用於訓練編碼器以減小井的尺寸。這意味着您要將編碼器的輸出「插入」下一層的輸入。

我可以定義一個損失函數來訓練自動編碼器（通過比較解碼輸出的輸入）和其他損失函數來訓練整個圖形。我有一種方法來訓練這兩種損失函數嗎？ 或者我可能誤解了這裏的問題，但是我覺得autoencoder的解碼器部分有點遺留在「循環外」，不會被訓練。

我已經找到了實現這種自動編碼，並convolutionnal層，等...但我真的不知道如何（在方案等）「插入」自動編碼網絡內部

Answer 1

紙說

計算網絡工具包（CNTK）[24]用於神經網絡訓練。如[14]所示，我們對所有層進行均勻的隨機加權初始化，沒有生成或有區別的預訓練[1]。

圖中的尺寸減少只是一個密集的投影層。所以他們不會訓練任何自動編碼器，他們只是配置網絡架構，並從隨機初始狀態訓練網絡。

Autoencoders之前用於子網絡初始化，但它們現在不太流行。