集成分類器與包裝方法

Question

我想要結合使用集成學習（viting，堆疊等）的多個分類器（ANN，SVM，kNN等）。

爲了製作分類器，我使用了20多種類型的解釋變量。然而，每個分類器都有解釋變量的最佳子集。因此，在包裝方法中尋找每個分類器的解釋變量的最佳組合， 我想用集合學習（viting，堆疊等）來組合多個分類器（ANN，SVM，kNN等）。 。

通過使用與weka元學習，我應該能夠使用合奏本身。 但是我無法獲得解釋變量的最佳組合，因爲包裝器方法總結了每個分類器的預測。

我不會堅持到WEKA，如果它可以解決更容易，也許MATLAB或R.

Answer 1

隨着合奏的辦法，最好的結果是實現了非常簡單的分類。另一方面，它可以非常快速地彌補整體成本。

這看起來似乎違反直覺：人們會想出更好的輸入分類器來產生更好的輸出。但是，這不起作用有兩個原因。

首先，使用簡單的分類器，通常可以對它們進行更改以獲取不同的輸入分類器集。全維方法+特徵裝袋爲您提供了多種分類器。在內部進行特徵選擇或縮減的分類器使得特徵套袋在獲得多樣性方面很大程度上不受影響。其次，像SVM這樣的複雜方法更可能優化/收斂到相同的結果。畢竟，複雜的方法應該經過一個更大的搜索空間，並在這個搜索空間中找到最好的結果。但是這也意味着，你更有可能再次獲得相同的結果。 最後但並非最不重要的是，當使用非常原始的分類器時，錯誤表現得更好，並且更有可能在集合組合上更均勻。