RBM的能量僅取決於體系結構嗎？

Question

我正在瀏覽網絡幾天，尋找我的問題的答案，但我不能很好地理解這個話題，以便能夠解釋我找到的書籍。

以下是我現在瞭解的內容：

我認爲我得到了監督學習。你有一個（x，y）對的數據集。你製作一個模型，向它提供x，退出y的模型，然後嘗試根據你的模型射出多遠來儘量減少一些成本函數。

RBM通常用於無監督學習，因爲在您只有（x）值。因此，您無法創建最小化成本函數。相反，你定義了一個能量函數，它依賴於神經元的激活和它們之間的權重。當你獲得最少的能量時，你訓練了模型。

但是這最後一個想法告訴我，能量，因此模型的優化結構僅取決於體系結構，並且獨立於輸入數據。所以只有通過設置輸入和隱藏神經元的數量，您才能預先定義網絡的權重和偏差。

那真的是這樣嗎？ RBM的培訓是否獨立於我們想要應用的數據集？

Answer 1

你錯過了無監督學習的重點。

RBM通常用於無監督學習，因爲在您只有（x）值。因此，您無法創建最小化成本函數。

這簡直是錯誤的，您可以定義許多有效的成本函數，它們根本不依賴於標籤（因爲沒有標籤）。但考慮例如kmeans模型，其中您將K點放置在輸入空間中，這裏的成本是您的X到距離這些點的關點的距離的總和。

而是定義一個能量函數，這取決於神經元的激活以及它們之間的權重。當你獲得最少的能量時，你訓練了模型。

基於能量的推理只是衆多可能性之一。特別是，這對RBM是有意義的。

但是這最後一個想法告訴我，能量，因此模型的優化結構僅取決於體系結構，並且獨立於輸入數據。

這是錯誤的，如活化是數據的功能。沒有正在處理的數據，您沒有網絡激活。根據這樣的推理，監督學習也將「獨立於輸入數據」，因爲你的網絡爲給定的x產生的是也是激活（輸出層）。

所以只有通過設置輸入和隱藏神經元的數量，您可以預先定義網絡的權重和偏差。

不，這沒有任何意義。最多它定義了RBM中的參數數量，而不是實際值。

那麼真的是這樣嗎？ RBM的培訓是否獨立於我們想要應用的數據集？

由於上述答案 - 沒有。 RBM訓練修改權重以最小化能量，其被定義爲權重和激活（其另一方面是數據相關元素）的函數。