使用線性函數逼近的Q學習

Question

我想獲得一些關於如何使用函數逼近的Q學習算法的有用說明。對於基本的Q學習算法，我找到了一些例子，我想我也明白它。如果使用函數逼近，我會遇到麻煩。有人可以通過一個簡短的例子來解釋它是如何工作的嗎？

我所知道的：

1. Istead使用矩陣，我們使用的功能和參數Q值的。
2. 使用派生函數和參數的線性組合近似。
3. 更新參數。

我已經檢查本文：Q-learning with function approximation

但我不能找到任何有用的教程如何使用它。

感謝您的幫助！

Answer 1

我認爲，this是最好的參考之一。它用幾個僞代碼示例寫得很好。就你而言，你可以通過忽略資格痕跡來簡化算法。另外，根據我的經驗和根據您的使用情況，Q-Learning可能無法很好地工作（有時需要大量的經驗數據）。例如，您可以嘗試Fitted-Q值，這是批量算法。