我的排行榜是否受過適當的培訓？

Question

我問一個問題What is the ...?使用/fcselect處理程序不排序器ID，並得到了以下文件：

"docs": [ 
    {"id": "100"}, // ranked first 
    {"id": "101"}, // ranked second 
    ... 
    {"id": "198"}, // ranked second from last (99th) 
    {"id": "199"} // ranked last (100th) 
] 

然後，我用下面的地面實況創建一個排序器：

What is the ...?,199,5,198,4 
... 

然後，我問*同一問題*使用/fcselect處理程序與排名並獲得以下文檔：

"docs": [ 
    {"id": "100"}, // ranked first 
    {"id": "101"}, // ranked second 
    ... 
    {"id": "199"}, // ranked 30th 
    ... 
    {"id": "198"} // ranked 35th 
    ... 
] 

但我希望像下面的順序：

"docs": [ 
    {"id": "199"}, // ranked first 
    {"id": "198"}, // ranked second 
    {"id": "100"}, // ranked third 
    {"id": "101"} // ranked 4th 
    ... 
] 

是排名器適當的培訓？

Answer 1

請參閱這裏以回答一個類似的問題：https://developer.ibm.com/answers/questions/317822/4-stars-answers.html。

通過學習到排名的方法，當然不能保證排名者會將基本事實中標記爲「正確」的答案移動到搜索結果的頂部。這是因爲排名者不會記住正確答案，而是希望捕獲捕獲查詢與搜索結果之間重疊的特徵值分佈中的概括。要驗證排序器訓練的行爲與預期相同，您可以通過大量查詢（與訓練期間使用的查詢不同）來測量前1個結果的準確性，並檢查平均的改進。

這就是說，排名前兩位的搜索結果根本不會因排序訓練而改變。有些事情要在實驗中考慮，以提高性能：

• 被傳遞給排序器足夠高的行數（在您的示例中，參數應至少設置爲100，因爲默認爲10）。
• 排序器訓練期間（準備基本事實文件時）包含的行數與運行時包含的行數相同（它們應該匹配以獲得最佳性能 - 這是一個可用於調整性​​能的設置） ？
• 查詢與可能混淆排名的正確答案文檔之間是否存在詞彙鴻溝？您的索引/查詢分析器中是否可以包含同義詞/停用詞的刪除/降低/干擾等操作，以改善查詢與正確答案之間的重疊？
• 在訓練和運行期間是否可以添加並傳遞給排名工具的附加功能可能更好地捕獲搜索結果中問題與候選答案之間的重疊？詳情請點擊此處https://medium.com/machine-learning-with-ibm-watson/developing-with-ibm-watson-retrieve-and-rank-part-3-custom-features-826fe88a5c63?cm_mc_uid=06908383978514879641730&cm_mc_sid_50200000=1488383112#.gtzsdg4k3