蒙特卡洛樹搜索：雙人遊戲的樹策略

Question

我對如何實施MCTS「樹策略」有點困惑。我讀過的每篇論文或文章都會談到從目前的遊戲狀態（在MCTS teminology中：玩家即將採取行動的根源）進入樹狀結構。我的問題是我如何選擇最好的孩子，即使我在MIN玩家級別（假設我是MAX玩家）。即使我選擇MIN可能採取的一些特定動作，並且我的搜索樹在該節點中的深度也會更大，但MIN玩家在選擇其他節點時可能會選擇不同的節點（如果min玩家是業餘人員，以及選擇一些不一定最好的節點）。由於MIN選擇了不同的節點，所以這種做法使得MAX的整個工作通過該節點無效傳播。 對於我所指的步驟： https://jeffbradberry.com/posts/2015/09/intro-to-monte-carlo-tree-search/ 其中的樹策略：https://jeffbradberry.com/images/mcts_selection.png 種類讓我相信他們正在從單一玩家的角度來執行它。

Answer 1

對於MCTS，您需要一些方法來生成合理估計可能移動的概率分佈。對於AlphaGo [1]而言，這是本文中的快速推出概率，$ p_ \ pi $，它取得一個狀態並輸出所有可能移動的粗略概率分佈。 AlphaGo團隊將此作爲一個淺層神經網絡，首先在專家級遊戲上進行訓練，然後通過對抗自己而得到改善。

[1] http://www.nature.com/nature/journal/v529/n7587/full/nature16961.html