機器學習中的貝葉斯優化

Question

感謝您閱讀本文。我目前正在研究貝葉優化問題並遵循教程。請參閱附件。 bayesian optimization tutorial

在第11頁中，介紹了採集功能。在提出我的問題之前，我需要說明我對貝葉斯優化的理解，看看是否有任何問題。

首先，我們需要採取一些訓練點，並假設他們作爲多變量高斯分佈。然後我們需要使用採樣函數來找到我們想要採樣的下一個點。例如，我們使用x1 .... x（t）作爲訓練點，然後我們需要使用捕獲函數來找到x（t + 1）並對其進行採樣。然後，我們假設x1 .... x（t），x（t + 1）爲多元高斯分佈，然後使用捕獲函數找到x（t + 2）來進行採樣等等。 在第11頁，似乎我們需要找到最大的改進概率x。 f（x +）來自樣本訓練點（x1 ... xt）並且容易獲得。但是，如何獲得u（x）以及這裏的變化？我不知道方法中的x是多少。它應該是x（t + 1），但紙不會這麼說。如果它確實是x（t + 1），那我怎麼能得到它的u（x（t + 1））？您可以在底部第8頁說使用方程，但是我們可以使用該方程，條件是我們找到了x（t + 1）並將其放入多變量高斯分佈。現在我們不知道下一個點x（t + 1）是什麼，所以我無法計算，在我看來。 我知道這是一個棘手的問題。謝謝回答！！

Answer 1

其實我已經得到了答案。 的確是x（t + 1）。直接的方法是，我們計算訓練數據之外的其餘x的每個u和varaince，並將其放入採集函數中，以找出哪一個是最大值。 這是非常耗時的。所以我們使用DIRECT這樣的非線性優化來獲得最大化採集功能的x而不是逐個嘗試