Adaboost實現與決策樹樁

Question

我一直在試圖實施Adaboost使用決策樹樁作爲弱分類器，但我不知道如何給予優先加權未命名分類實例？

Answer 1

決策殘段基本上是一個規定特徵，閾值和極性的規則。因此，給定樣本，您必須找到具有最低誤差的一個特徵閾值極性組合。通常您會計算錯誤分類並將其除以樣本數以獲取錯誤。在Adaboost中使用了一個加權誤差，這意味着不是對錯誤分類進行計數，而是對分配給錯誤分類樣本的權重進行總結。我希望迄今爲止這一切都很清楚。

現在，爲了給下一輪錯誤分類樣本更高的優先級，您可以通過增加錯誤分類樣本的權重或減少正確分類的樣本的權重來調整分配給樣本的權重。假設E是你的加權誤差，你將錯誤分類的樣本權重乘以值（1-E）/ E。由於決策殘差優於隨機猜測，因此E將爲0，這意味着（1-E）/ E將> 1，從而權重增加（例如E = 0.4 =>（1-E）/ E = 1.5）。另一方面，如果您想減少正確分類的樣品重量，請改用E /（1-E）。但是，不要忘記將權重歸一化，以便它們總計爲1.這對計算加權誤差很重要。