你如何評估分類器在測試數據上的性能？

Question

我正在使用scikit來製作監督分類器，而我目前正在調整它，以便爲標記數據提供良好的準確性。但是，我如何估計它在測試數據（未標記）上的表現呢？

另外，如何確定是否開始過度使用分類器？

Answer 1

由於您需要知道正確的答案，因此無法在未標記的數據上評分您的方法。爲了評估一種方法，你應該將火車組分成（新）列車和測試（例如通過sklearn.cross_validation.train_test_split）。然後將模型放入火車並在測試中得分。 如果您沒有太多數據，並且有些數據可能會對算法的性能產生負面影響，請使用cross validation。

由於過擬合不能一概而論，因此低測試分數是一個很好的指標。

欲瞭解更多理論和其他方法，請看this article。