顯著測試scikit學習的置換在相同的p值的測試結果爲所有分類

Question

我試圖找出結果的意義採用scikit學習的permutation test爲：

score, permutation_scores, pvalue = permutation_test_score(clf.best_estimator_, X_train, Y_train, cv=10, n_jobs=10, n_permutations=100, scoring='accuracy') 

其中clf.best_estimator是交叉驗證的結果。

我將它用於幾個分類器（幾個獨立的clf.best_estimator_），但它們的p值都是相同的0.00990099009901。

我不知道爲什麼會發生這種情況。奇怪的是，這與scikit-learn用戶指南中鏈接代碼中報告的數字相同。

Answer 1

我在scikit-learn的問題中提出了同樣的問題，答案是：對於大多數好的分類器來說，如果隨機分類器在100次測試中比經過訓練的分類器好，那麼這個幻數就是結果。

所以這個神奇的數字沒有錯。