在sklearn中決定DecisionTreeClassifier的max_depth

Question

當我在skelarn中使用GridSearchCV調整決策樹時，我有一個問題。當我決定max_depth的範圍時，我認爲要求max_depth是不同的情況。因爲，樣本的數量或功能影響決定max_depth。那麼，是否有合適的標準來決定max_depth的範圍，還是隻由直覺決定？

Answer 1

您可以嘗試更改每個案例的max_depth並記錄性能。

這可能會幫助您獲得性能。

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.log_loss.html

你可以決定測試一個最大深度。 但是，如果您想從樹中調整max_depth，您可以嘗試使用足夠的數據來訓練另一個學習算法以找出它。 （或簡單地用線性迴歸）

Answer 2

通常the recommendation是從max_depth=3開始，然後從那裏開始工作，其中Decision Tree (DT)文檔覆蓋更深入。

具體使用Ensemble Methods如RandomForestClassifier或DT Regression也是決定max_depth是否被設置爲高和/或過擬合有幫助的。