ROC曲線交叉驗證

Question

如何生成交叉驗證的ROC曲線？

對於單次測試，我認爲我應該對SVM的分類分數進行閾值來生成ROC曲線。

但我不清楚如何爲交叉驗證生成它？

Answer 1

作爲後續Backlin：

在結果對於k倍或離開正時的模型的交叉驗證顯示不穩定的不同運行的變化。這是有價值的信息。

• 當然，您可以彙總結果並生成一個ROC。
• 但是你也可以繪製一組曲線
  參見例如。 R包ROCR
• 或計算例如中位數和IQR在不同的閾值，並構建一個描述這些變化的樂隊。
  下面是一個示例：陰影區域是在8次交叉驗證的125次迭代中觀察到的四分位間距範圍。薄的黑色區域包含一個特定閾值的觀察到的特異性 - 敏感性對的一半，中值用x標記（忽略+標記）。

Answer 2

完成一輪交叉驗證後，所有的觀察結果都被分類一次（儘管採用不同的模型），並給出了估計的歸屬類別概率或類似統計量。這些概率可用於以與外部測試集上獲得的概率完全相同的方式生成ROC曲線。只要將分類閾值從0變爲1並且您的設置全部設置，就可以計算分類錯誤率。

但是，通常您希望執行多輪交叉驗證，因爲性能因褶皺的分割方式而異。我不明白如何計算所有回合的平均ROC曲線。我建議將他們全部繪製並計算平均AUC。