Q學習教程混淆

Question

我對任何機器學習方法都很陌生，我想我會嘗試嘗試Q-Learning。所以，我一直在閱讀這篇文章：

http://mnemstudio.org/path-finding-q-learning-tutorial.htm

什麼是困惑我的是，這個公式：

Q(1, 5) = R(1, 5) + 0.8 * Max[Q(5, 1), Q(5, 4), Q(5, 5)] = 100 + 0.8 * 0 = 100 

這R(1, 5)保持在教程中再次改變從100到0然後回到100，WHAT ！ R矩陣是靜態的。

Answer 1

我覺得一個錯誤是在第二個公式使用R(1, 5)。如果你讀了課文，你會發現，你在狀態3目前正在和你隨機挑選狀態1去：

對於下一集，我們先從一個隨機選擇的初始狀態。 這一次，我們有狀態3作爲我們的初始狀態。

看看矩陣R的第四行;它有3種可能的動作：進入狀態1,2或4.通過隨機選擇，我們選擇作爲我們的動作進入狀態1。

R(3, 1)是0，並在文章後面的更新Q矩陣也有Q(3, 1)填入值。

然後，公式應該是：

Q(3, 1) = R(3, 1) + 0.8 * Max[Q(1, 3), Q(1, 5)] = 0 + 0.8 * 100 = 80 

(1, 2)是-1，所以我想利用是一個錯誤。該文本甚至說：

現在我們想象我們處於狀態1.看第二行獎勵矩陣R（即狀態1）。它有2個可能的動作：進入狀態3或狀態5

所以R(1, 5)不會改變：它總是100。它有時與R(3, 1)混淆。

更新

這裏是我認爲應該對清晰度和正確性，我認爲它應該說，爲了什麼要改變的教程中的另一部分。我粗體顯示了我所做的更改。

矩陣Q，Q（5,1），Q（5,4），Q（5,5）的更新條目全部爲零。由於R（5,1）的即時回報，Q（1,5）的計算結果爲100。這個結果不會改變Q矩陣。

更改爲：

矩陣Q的更新的條目，Q（5，1），Q（5，4），Q（5,5）（如，來自先前操作更新）都是零。由於來自R（1,5）的即時獎勵，對於Q（1,5）的這種計算的結果是100。這個結果不會改變Q矩陣。