什麼是Oracle實驗？

Question

我讀過一篇關於機器學習的論文，它包含一個Oracle實驗來比較他的研究和另一項研究？ 但是，Oracle實驗是什麼似乎並不那麼清楚？

Answer 1

「oracle」是一個總是給出正確答案的虛構實體。使用一個oracle實驗來比較你的實際系統和你的系統如果它的某個組件總是正確的行爲。

例如，在NLP域中，我們假設您構建了一個解析器，它將帶詞性（POS）標記的語句作爲輸入。在現實世界中，你將不得不通過一個實際的POS標籤來運行真正的句子。這個標記器可能會產生精度高於90％但低於100％的結果。由於解析器的準確性取決於傳入標籤的準確性，因此解析器的性能會受到這種損失的負面影響。

爲了看看你的解析器能夠很好地執行如果POS標記器是完美的，你可以用一個oracle標記器運行一個實驗。在這個實驗中，您將用一個知道句子實際POS標籤的程序替換真正的POS標籤器，因此總是以100％的準確率返回標籤結果。因此，如果您的解析器在使用真實標記器的實驗中獲得85％的準確性，並且在使用oracle標記器的實驗中獲得90％的準確性，那麼您知道5％的性能損失直接歸因於惡搞。