trec_eval如何計算平均精度（MAP）？

Question

我正在使用TREC_EVAL來評估搜索引擎。我想知道它是如何計算平均精度（MAP）的。我相信它不會計算平均精度（AP）的簡單平均值。這似乎是一個加權算術，但我不明白哪些權重被使用。

Answer 1

MAP確實是單個主題的AP分數的簡單算術平均值。 （但請記住，AP的個人主題是通過全部相關文檔計算出來的。有一個經常使用的AP的不正確定義，它只計算相關檢索文檔的'AP'，但這是一個無意義的測量，因爲它會獎勵檢索更少的相關）

每個TREC程序的附錄中的「通用措施」部分都定義了最常用的TREC評估措施。 TREC程序位於TREC網站的出版物部分trec.nist.gov。

埃倫·沃里斯 TREC項目經理 NIST