如何使用trec_eval評估搜索/檢索引擎？

Question

有沒有使用TREC_EVAL的機構？我需要一個「Trec_EVAL for dummies」。

我試圖評估幾個搜索引擎比較喜歡回憶，精度參數，居質量，等我的論文工作。我無法找到如何使用TREC_EVAL將查詢發送到搜索引擎並獲取可以與TREC_EVAL一起使用的結果文件。

Answer 1

基本上，trec_eval你需要一個（人產生的）地面實況。這必須是在一個特殊的格式：

query-number 0 document-id relevance 

給定一個集合像101Categories（wikipedia entry）這將是像

Q1046 0 PNGImages/dolphin/image_0041.png 0 
Q1046 0 PNGImages/airplanes/image_0671.png 128 
Q1046 0 PNGImages/crab/image_0048.png 0 

因此，查詢號碼標識的查詢（例如從圖片某些類別可以找到類似的類別）。從搜索引擎的結果已經然後轉化爲像

query-number Q0 document-id rank score Exp 

還是在現實

Q1046 0 PNGImages/airplanes/image_0671.png 1 1 srfiletop10 
Q1046 0 PNGImages/airplanes/image_0489.png 2 0.974935 srfiletop10 
Q1046 0 PNGImages/airplanes/image_0686.png 3 0.974023 srfiletop10 

描述here。您可能需要調整「文檔ID」的路徑名稱。然後你可以計算標準指標。 trec_eval --help應該給你一些想法，以選擇正確的參數來使用你的論文所需的測量。

trec_eval不發送任何疑問，你必須給他們自己準備。 trec_eval只做分析給出了一個基礎trouth和你的結果。

一些基本信息，可以發現here和here。