在CARET中爲重複保持樣本創建一個精度度量向量

Question

我想從通過重複保持樣本（相同大小）創建的決策樹創建精度度量向量。我正在CARET嘗試這個。

library(caret) 

ctrl <- trainControl(method = "LGOCV", 
        repeats = 60, p=0.66) 

mod1 <- train(Species ~ ., data = iris, 
       method = "rpart", 
       trControl = ctrl) 

我的目標是現在從60個重複試驗中的每一箇中獲得準確性度量的向量。但不知道接下來要做什麼。

有一個試驗，我會使用confusionMatrix（）。但不知道在這種情況下要做什麼。

想法？

Answer 1

首先，對於method = "LGOCV"，請使用number = 60而不是repeats。

有一個名爲resamples的子對象。

> ctrl <- trainControl(method = "LGOCV", 
+      number = 60, p=0.66) 
> 
> mod1 <- train(Species ~ ., data = iris, 
+    method = "rpart", 
+    trControl = ctrl) 

> str(mod1$resample) 
'data.frame': 60 obs. of 3 variables: 
$ Accuracy: num 0.902 0.961 0.922 0.922 0.941 ... 
$ Kappa : num 0.853 0.941 0.882 0.882 0.912 ... 
$ Resample: chr "Resample14" "Resample13" "Resample15" "Resample11" ... 
> length(unique(mod1$resample$Resample)) 
[1] 60 

查看選項trainControlreturnResamp。默認情況下，這會保存最佳模型的結果。您也可以爲每個調整參數獲取它們。

最大值