機器學習：無監督反向傳播

Question

我在通過神經網絡進行機器學習時遇到了一些問題。其中之一是backpropagation。在權重更新公式，

delta_w = a*(t - y)*g'(h)*x 

t是「目標輸出」，這將是你的類的標籤，或什麼的，在監督學習的情況。但是，「目標輸出」將用於無監督學習？

有人可以提供一個例子，說明如何在無監督學習中使用BP，專門用於聚類分類？

在此先感謝。

Answer 1

我不確定哪個無監督機器學習算法專門使用反向傳播;如果有一個我沒有聽說過。你能指出一個例子嗎？

反向傳播用於計算誤差函數的導數，用於訓練關於網絡權重的人工神經網絡。它的名字就是這樣，因爲「錯誤」是通過網絡「向後」傳播的。在這種情況下您需要它，因爲與目標相關的最終錯誤取決於函數的函數（函數的函數...取決於ANN中的多少個圖層）。派生類允許您調整值以改善錯誤功能，鍛鍊的學習率（這是gradient descent）。

在無監督算法中，您不需要這樣做。例如，在k-Means中，您嘗試最小化均方誤差（MSE）時，可以在給定任務的每個步驟直接將誤差最小化;沒有漸變需要。在其他聚類模型（如mixture of Gaussians）中，expectation-maximization（EM）算法比任何基於梯度下降的方法都強大得多且準確。

Answer 2

最常見的事情是火車an autoencoder，其中所需的輸出等於輸入。這使得網絡試圖學習一種最能「壓縮」輸入分佈的表示。

Here's a patent描述了一種不同的方法，其中輸出標籤隨機分配，然後有時基於收斂速率翻轉。這對我來說似乎很奇怪，但沒關係。

我不熟悉其他使用backpropogation進行集羣或其他無監督任務的方法。人工神經網絡的聚類方法似乎使用其他算法（example 1,example 2）。

Answer 3

要使用反向傳播用於監督學習，僅需要設置噸，目標輸出，在算法的每一級對類針對更新前的類中的每個元素的平均距離爲最小。簡而言之，我們總是試圖訓練人工神經網絡，將它的輸入輸入到其成員在我們的輸入方面最相似的類中。由於這一過程是輸入比例敏感，有必要通過減去平均和以計算在一個尺度不變方式的距離由每個組件的標準偏差除以第一正常化在每一維的輸入數據。

到使用反 - 丙神經網絡，而不是從簇的中心定義一個簡單的距離的優點在於，神經網絡可以允許簇之間更復雜的和不規則的邊界。

Answer 4

你可能會問什麼是約無監督功能學習和深入學習。

特徵學習是我能想到的關於神經網絡或其最新變體的唯一無監督方法（一種稱爲RBM混合體的變體，與高斯混合體相似，但您可以基於這兩種方法構建很多模型）。但基本上，我熟悉的兩種型號是RBM（限制玻爾茲曼機器）和Autoencoders。

自動編碼器（可選地，稀疏激活可以在優化函數中編碼）僅僅是前饋神經網絡，其調整其權重以使得輸出是重構輸入。可以使用多個隱藏層，但權重初始化使用貪婪圖層明智的訓練來獲得更好的起點。所以要回答這個問題，目標函數將被輸入。

RBM是隨機網絡，通常被解釋爲對連接有限制的圖形模型。在此設置中，沒有輸出層，輸入層和潛在層之間的連接像無向圖形模型那樣是雙向的。它試圖學習的是輸入的分佈（觀察和未觀察的變量）。這裏你的答案也是輸入目標。

RBM的混合物（類似於高斯混合物）可用於軟聚類或KRBM（類似於K均值）可用於硬聚類。這實際上就像學習多個非線性子空間一樣。

http://deeplearning.net/tutorial/rbm.html

http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial

Answer 5

另一種方法是使用像生成反向傳播。在這種情況下，您將訓練一個更新權重和輸入值的神經網絡。給定的值用作輸出值，因爲您可以直接計算出錯誤值。在其他應用程序中，該方法已用於降維，矩陣完成（缺失值插補）。有關更多信息，請參閱non-linear principal component analysis (NLPCA)和unsupervised backpropagation (UBP)，它使用生成反向傳播的思想。 UBP通過引入預培訓階段來擴展NLPCA。在華夫餅機器學習工具包中可以找到UBP和NLPCA的實現以及無監督反向傳播。 UBP和NLPCA的文檔可以使用nlpca命令找到。

Answer 6

在其核心的反向傳播簡單地包括在我們的神經網絡中通過所有可能的路徑重複應用鏈式規則。 僅當給出輸出標籤時，反向傳播才起作用。沒有標籤，反向傳播不能很好地工作。