隨機搜索超參數優化的改進

Question

隨機搜索是機器學習中超參數優化的一種可能。我已經應用隨機搜索來搜索具有RBF內核的SVM分類器的最佳超參數。除了連續的Cost和gamma參數之外，我還有一個離散參數和一些參數的等式約束。

現在，我想進一步開發隨機搜索，例如，通過自適應隨機搜索。這意味着例如調整搜索方向或搜索範圍。

有人有一個想法如何做到這一點或可以參考一些現有的工作呢？其他改進隨機搜索的想法也是受歡迎的。

Answer 1

爲什麼你試圖重新發明輪子？超參數優化很好的研究主題，與至少一些現有技術的方法的狀態下，簡單地解決支持向量機的問題，其中包括：

• 貝葉斯優化（通常通過與高斯過程建模模型質量），參見例如bayesopt http://rmcantin.bitbucket.org/html/
• 在hyperopt概率密度函數的樹估計（有時是離散的，複雜的超參數空間更好）包括（尤其是）http://hyperopt.github.io/hyperopt/

Answer 2

爲了提高隨機搜索過程中，你可以參考Hyperband。

Hyperband是UC Berkeley AMP Lab提出的一種方法，旨在提高隨機搜索等調諧方法的效率。

Answer 3

我想補充一點，Bayesian optimization是一個自適應隨機搜索的完美示例，所以看起來像它正是你想要應用的。

貝葉斯優化的思想是使用Gaussian Processes（GP）對目標函數建模，根據當前模型選擇最佳下一個點，並在看到實際結果後更新模型。因此，實際上，貝葉斯優化就像隨機搜索一樣開始，逐漸構建了函數外觀的畫面，並將焦點轉移到最有前途的區域（請注意，「有前途」可以通過不同的特定方法定義 - PI，EI， UCB等）。還有其他技術可以幫助它在勘探和開採之間找到適當的平衡點，例如portfolio strategy。如果這就是你的意思自適應，那麼貝葉斯優化是你的選擇。

如果你想在沒有外部庫的情況下擴展你的代碼，這是完全可能的，因爲貝葉斯優化並不是很難實現。您可以看看我在my research中使用的示例代碼，例如here是GP相關代碼的批量。