如何確定語義搜索引擎的準確性？

Question

我的表弟創建了語義搜索引擎，他聲稱他的搜索引擎是最準確的。

我見過很多語義搜索引擎，他們看起來都一樣對我來說，因爲它們不是設計給您根據您鍵入的關鍵字結果。

所以，如果你正在創建一個語義搜索引擎，如何確定其結果的準確性？

Answer 1

其實sarnold的建議並不遙遠。

什麼，你通常會做的是採取一大堆的人，並讓他們嘗試了一堆標準查詢。或者，如果你想讓實驗更公平，你可以讓每個用戶選擇自己的查詢，以避免任何偏見（因爲你可以選擇標準查詢，你知道你的引擎擅長回答）。

對於每個查詢的用戶會期待通過前10個左右的結果，並說他們是否認爲每一個結果是相關或不（你可能需要有用戶評分的規模，而不是僅僅是/否）。

然後對於每個查詢，您可以計算準確性分數，具體取決於您如何設置實驗Precision and Recall可能是最合適的措施，儘管這些措施依賴於您可能不一定有的已知預期答案。計算簡單的百分比準確度可能更簡單也更合適。

要確定您的搜索引擎是否比你的競爭對手你有相同的人對這些搜索引擎以相同的方式得分執行相同的查詢更好。完成這些後，您可以計算並比較搜索引擎的分數與您自己的分數。