使用深度學習技術的監督學習（文檔分類）

Question

我正在閱讀關於深度學習的論文。他們大多數提到無監督學習。

他們還說神經元是使用無監督的RBM網絡預先訓練的。後來他們使用反向傳播算法（監督）進行了很好的調整。

那麼我們可以使用深度學習來解決監督學習問題嗎？

我想知道深度學習是否可以應用於文檔分類問題。 我知道有很好的分類器可用。但我的目標是找出我們是否可以爲此目的使用深度學習。

Answer 1

深度學習是關於學習未知概念，所以通常用於查找數據集中的模式。這是不受監督的，因爲這些模式不一定是先驗知道的。然而，在監督學習中，您需要的模式類型可以通過適合您正在學習的數據的訓練模式的形式輕鬆理解。這些模式成爲擬合您的模型（例如使用反向傳播訓練的神經網絡）到您的數據的基礎。沒有真正發現新的概念和組件。所以從這個角度來看，我會說不，深度學習不能用於解決監督學習問題。

話雖如此，您可能可以使用它來查找您的數據中有趣的模式。然後，您可以使用這些有趣的模式作爲使用標準監督方法進行培訓的基礎。也許這就是他們在上面所做的，你提到了

「他們還說神經元是用無監督的RBM網絡預先訓練的，後來他們使用反向傳播算法（監督）進行了很好的調整。

如果沒有讀過你讀過的東西，也許他們從無監督的算法開始尋找最有趣的數據，並且這樣做會降低維度的形式，導致比原始數據更容易訓練的數據，使用監督算法。

Answer 2

總之 - 是的，它可以，並且是經常在監督的方式使用。就像Ben J所描述的那樣 - 架構的「深度」以無監督的方式用於otder中，以創建數據的非常抽象的表示，可以稍後用作預處理層（無需微調）或作爲初始化對於神經網絡（微調，喜歡類似）。特別是你可以使用這種方法處理文本。

有通過韓丁關於建模與DBMS的文本文檔有趣的非常最近的一篇文章：http://www.cs.toronto.edu/~rsalakhu/papers/uai13.pdf

有很多資源avaliable網上，特別是pylearn庫實現這樣的辦法，包括「經典」 DBN（深Beiief網絡）http://deeplearning.net/tutorial/DBN.html

此外，實際上也可以使用堆疊的RBM進行分類，該模型被稱爲「分類RBM」。更多細節可以在這裏獲得：http://machinelearning.org/archive/icml2008/papers/601.pdf

Answer 3

除了上面提供的很好的參考資料之外，Yann Le Cunn的小組還有另一篇文章只是通過編碼字符來進行文本分類，而不使用任何外部特徵提取庫。它只是通過在角色層面進行編碼而起作用。他們聲稱98％的準確性。

http://arxiv.org/pdf/1502.01710v2.pdf

Answer 4

是的，肯定。其實在行業中，深度學習主要用於解決監督問題。 RBM和這種無監督的東西在學術界以外並沒有得到廣泛的應用。要了解更多關於監督學習的深度學習，您可以在2012年後閱讀論文，從與ImageNet Challenge相關的任何內容開始。

這些深層神經網絡的主要里程碑：