計算Caffe的ROC和AUC？

Question

我已經在Caffe訓練過imagenet。現在我正在計算我的模型和caffe提供的訓練模型的ROC/AUC。我有兩個問題：

1）ROC/AUC主要用於二進制類，但我也發現在某些情況下，人們將它用於多類。 1000個課程可能嗎？其影響是什麼？正如在評論中，人們在多類問題中沒有給出ROC/AUC的好答案。 2）如果可能的話，比較基於ROC/AUC的兩個模型將是一個好主意，有誰可以告訴如何爲Caffe中的這1000個類做些什麼？我是否必須從頭開始重新訓練模型，還是隻能用最終訓練的模型來計算？

問候

Answer 1

This discussion地址多類ROC/AUC分析很好。回答您的問題：

1. 您可以對每個班級進行多個「一對一」分類，從而構建多個ROC曲線。

2. 計算了1000個AUC值後，您可以得出所有類別的平均AUC，並使用此指標比較模型的優劣。不，你不需要重新訓練你的模型。

另外，請注意ROC/AUC指標非常具體，主要用於檢測/生物測量任務，如語音識別。