馬爾可夫鏈收斂的條件是什麼？

Question

我正在編程計算馬爾可夫鏈的極限的一些程序。

如果馬爾可夫矩陣發散，我應該將它轉換爲形式 dA +（1-d）E，其中A和E都是n * n矩陣，並且E的所有元素都是1/n。

但是，如果我在輸入收斂時應用該轉換，則會出現錯誤的值。

有沒有簡單的方法來檢查馬爾可夫矩陣是否收斂？

Answer 1

我不打算詳細說明，因爲它本身就是一個整體。雖然一般收斂定理表明任何非週期和不可約的有限馬爾可夫鏈收斂（到它的平穩分佈）。不易還原性很容易檢查（這與圖中的連通性相當），並且週期性也很容易檢查（兩者的定義可在下面的第一章中找到，而收斂定理在本書的第4章中得到證明） 。

值得注意的是，如果不存在通過將狀態空間分解爲「連通分量」並分別考慮每個分支而在對稱情況下可以輕易解決的不可約性問題。雖然週期可以通過做類似於你的建議來修補。這就是所謂的創建懶惰馬爾可夫鏈。如果你想了解整個課題更好一點（例如混合時間將在您的收斂算法非常有幫助），這是一個很好的書（免費提供）：

http://pages.uoregon.edu/dlevin/MARKOV/markovmixing.pdf