限制玻爾茲曼機 - 重建

Question

我讀了一些關於限制玻爾茲曼機的文章。對這些機器進行了重建能力測試。我瞭解培訓是如何運作的，但不知道如何進行重建。任何人都可以給我一些提示嗎？

Answer 1

由傑夫·辛頓談：

http://www.youtube.com/watch?v=AyzOUbkUf3M

Answer 2

我想你的意思是在自動編碼的情況下用於召回的投入，而不是像聯想記憶網絡的RBM。

在學習階段，輸入單位和輸出節點（單位）被鉗位到訓練集中的值，之後重複玻爾茲曼採樣（例如通過Metropolis Hastings和Simulated Annealing的組合）與梯度以優化輸入，隱藏和輸出節點之間所有連接的權重。在訓練之後，受限制的波爾茲曼網絡可用於1）分類/預測或2）以自由運行模式生成記憶。

在分類/預測模式下，部分或全部輸入單元被鉗位，而隱藏和輸出節點採用玻耳茲曼採樣。輸出節點的統計屬性（基本上是手段）是預測或分類。如果RBM的結構類似於單層自動編碼器，輸入層類似於輸出層和稀疏或更小的隱藏層，那麼導致完全恢復訓練輸入的有限數量的輸入將構成「重建」。

韓丁的2006年科技論文討論了這些想法：

http://www.cs.toronto.edu/~hinton/science.pdf

本文是RBMS和神經網絡的，而具體應用，但。在本文中，他使用RBM來預先訓練一個深層（許多分層）的神經網絡。

Answer 3

在Hinton's algorithm，他們使用RBM的預培訓，使初始權重接近一個很好的解決方案，確保收斂的梯度下降。

在下一步中，初始網絡（例如，[1000 500 100 2]）是展開以給出自動編碼器網絡（[1000 500 100 2 100 500 1000]）。編碼器（[1000 500 100 2]）和解碼器（[2 100 500 1000]）部件最初使用相同的權重。

最後一個階段是微調。它通過整個自動編碼器（[1000 500 100 2 100 500 1000]）使用反向傳播來對權重進行微調（通過最小化誤差，即輸入和其重建之間的差異）以實現最佳重建。自動編碼器的輸出是重構輸入。