關於精度調用曲線和平均精度的困惑

Question

爲了評估我的圖像檢索系統，我正在閱讀很多關於Precision-Recall曲線的內容。特別是，我正在閱讀關於VLFeat中的特徵提取器的文章this以及關於精確調用的wikipedia page。

我知道這條曲線對評估我們的系統性能w.r.t很有用。檢索的元素的數量。所以我們反覆計算檢索頂部元素的精度 - 回憶，然後回到頂部2，頂部3等...但我的問題是：什麼時候我們停止？

我的直覺是：當我們的檢索元素列表的回憶等於1時，我們停止，因此我們檢索所有相關元素（即沒有錯誤否定，只有真正的肯定）。

同樣的問題是平均精度：檢索結果中應該存在多少個元素來計算它？如果我以前的直覺是正確的，那麼我們只需要找出什麼是最小的列表s.t.召回是1，並用它來計算AP。

我不知道爲什麼所有用於計算p-r曲線的庫都沒有顯示這是如何實現的？

Answer 1

帶有召回1的信息檢索系統意味着一個完美的系統，在實踐中似乎不可能！當您需要比較兩個或更多信息檢索系統時，Precision-Recall曲線很好。當召回或精確度達到某個值時，它不會停止。 Precision-Recall曲線顯示每個點的召回和精度值對（考慮排名前3或5個文檔）。您可以將曲線繪製到任何合理的點。

接近完美Precision-Recall曲線的曲線比接近基線的曲線具有更好的性能水平。換句話說，高於另一條曲線的曲線具有更好的性能水平。兩個Precision-Recall曲線代表兩個IR系統的性能水平：A和B.根據下圖，系統A明顯優於系統B.

記住：Precision-Recall曲線不僅用於評估IR系統。它可以用來顯示你的分類器有多好！例如，您可以計算精度，查找二元分類任務並繪製可以給出分類器性能的良好估計的曲線。

例如：

我會鼓勵你看到這個tutorial從Coursera。我相信你的想法會變得更加清晰。