隨機森林和隨機樹算法之間的區別

Question

請給我一個關於隨機樹和隨機森林分類算法的說明。如果有任何書籍或網站給出詳細的解釋，請提出建議。

Answer 1

兩者之間的比較是有點無意義，因爲隨機森林是多個隨機樹（因此 - 森林）相結合的方法，使用甚至更隨機化的隨機樣本的（選擇與更換成一個大的分類器進行訓練每個樹加上隨機選擇樹可以用來執行分割的特徵）。換句話說 - RF是應用於隨機樹的集合方法通常。將它們作爲comepettice方法進行比較沒有意義，因爲它們不是。隨機森林應與其他集成方法（如AdaBoost等）和隨機樹與基本的簡單分類器（如Perceptron（儘管它來自不同的模型族））進行比較。

Answer 2

完成以前的答案，我想提出以下建議書，以便更好地瞭解森林是如何隨機工作：

• 決策森林從A. Criminisi和J.肖頓，很好 理論解釋和說明
• 統計學習，T.黑斯蒂

和元素，如果你能沒有找到這些書，我也建議：

• 萊奧·佈雷曼對RF原創文章
• ，你可以找到那裏的幻燈片和演示： http://research.microsoft.com/en-us/projects/decisionforests/

Answer 3

1）隨機森林 隨機森林是隨機決策森林的一般技術的一個概念，它是一種用於分類，迴歸和其他任務的集合學習技術，通過在訓練時構建大量的決策樹並輸出作爲類的模式的類來進行控制（分類）或個別樹木的平均預測（迴歸）。隨機決策森林對於決策樹過度適應其訓練集的習慣是準確的。第一種隨機決策森林算法是由Tin Kam Ho利用隨機子空間方法創建的，在Ho的公式中，這是一種實現由Eugene Kleinberg提出的「隨機區分」方法的分類方法。該算法的擴展由Leo Breiman [5]和Adele Cutler [2]開發，「Random Forests」爲其商標[3]。該擴展結合Breiman的「袋裝」思想和隨機選擇特徵，由Ho後來由Amit和Geman [4]獨立完成，以構建一組具有受控方差的決策樹。 2） 隨機樹隨機樹是一個有監督的分類器;它是一種集成學習算法，可以生成大量個人學習者。它採用裝袋思路構建一個隨機數據集來構建決策樹。在標準樹中，每個節點都使用所有變量之間的最佳分割進行分割。在隨機森林中，每個節點使用在該節點隨機選擇的預測子集中的最好分割。 Leo Breiman和Adele Cutler介紹了隨機樹。該算法可以處理分類和迴歸問題。隨機樹是一組稱爲森林的樹預測器（集合）。分類機制如下：隨機樹分類器獲取輸入特徵向量，將其與林中的每棵樹分類，並輸出獲得大多數「投票」的類標籤。在迴歸的情況下，分類器答覆是森林中所有樹木的平均響應。隨機樹本質上是機器學習中兩種現有算法的組合：單一模型樹與隨機森林思想合併。模型樹是決策樹，其中每一片葉片都擁有一個線性模型，該線性模型針對由該葉片解釋的局部子空間進行了優化。隨機森林已經證明可以顯着提高單一決策樹的性能：樹多樣性是通過兩種隨機化方式產生的[4,6,11]。首先，對訓練數據進行採樣，替換Bagging中的每一棵樹。其次，當增長一棵樹時，不是總是爲每個節點計算最佳可能的分割，而是僅在每個節點處考慮所有屬性的隨機子集，並且計算該子集的最佳分割。首次將這種樹用於分類隨機模型樹，將模型樹和隨機森林結合起來。隨機樹使用這種產品進行分割選擇，從而誘導合理平衡的樹，其中嶺值的全局設置適用於所有樹葉，從而簡化了優化過程。 [1] [2] [3] [4]

[1] N。 Landwehr，M. Hall和E. Frank，「物流模型樹」，馬赫。 Learn。，vol。 59，沒有。 12，pp.161-205,2005。 [2] Breiman Leo（2001）。 「隨機森林」。機器學習45（1）：5-32。
[3] Liaw，Andy（2012年10月16日）。 「R包隨機森林的文檔」。檢索2013年3月15日。 [4]美國商標註冊號碼3185828，註冊2006/12/19。 [5]維基百科貢獻者，隨機樹，‖維基百科，自由的百科全書。維基媒體基金會，2014年7月13日