莫爾科夫鏈如何運作，什麼是無記憶？

Question

馬可夫鏈如何工作？我已閱讀維基百科Markov Chain，但我沒有得到的東西是無記憶的。無記憶狀態指出：

下一個狀態僅取決於當前狀態，而不取決於其之前的事件序列 。

如果馬爾可夫鏈有這種屬性，那馬爾可夫模型中鏈的用法是什麼？
請解釋此屬性。

Answer 1

你可以想像馬爾可夫鏈像青蛙從百合墊跳到池塘上的睡蓮池。青蛙不記得它以前訪問過哪個睡蓮墊。對於i和j的所有可能的組合，它也具有從百合花艾到百合花Aj的跳躍概率。馬爾可夫鏈可以讓你計算青蛙在任何特定時刻處於某個睡蓮池上的概率。

如果青蛙是素食主義者，每次落在它上時都會在睡蓮墊上啃食，那麼它從睡蓮葉Aj落在睡蓮葉艾上的可能性也取決於以前艾多次訪問過。然後，您將無法使用馬爾可夫鏈對行爲建模，從而預測青蛙的位置。

Answer 2

無記憶的想法是馬爾可夫鏈成功的基礎。這並不意味着我們不關心過去。相反，這意味着我們只保留過去最相關的信息來預測未來，並使用這些信息來定義現在。 這個漂亮的文章提供了關於這個問題的 http://www.americanscientist.org/issues/pub/first-links-in-the-markov-chain

還有就是你對過去的描述的準確性和相關的狀態空間的大小之間的權衡一個很好的背景。比如說，鄰里有三家酒吧，每晚你選擇一家。如果你隨機選擇這些酒吧，這不是一個馬爾可夫鏈（或一個微不足道的，零階的） - 結果是隨機的。更確切地說，它是一個獨立的隨機變量（建模依賴對馬爾可夫鏈的馬爾可夫思想是基本的）。

在您選擇的酒吧中，您可以考慮最後的選擇，即您前一晚前往哪家酒吧。例如，您可能希望避免連續兩天去同一個酒吧。實際上這意味着要記住你昨天過去的地方（從而記住過去！），在你的建模水平上，你的時間單位是一天，所以你現在的狀態是你昨天去的酒吧。這是具有三個狀態和3乘3轉換矩陣的經典（一階）馬爾可夫模型，它爲每個置換提供條件概率（如果昨天你去了酒吧I，那麼今天你跳到酒吧J的變化是什麼） 。

但是，您可以定義一個模型，在其中「記住」過去兩天。在這個二階馬爾可夫模型中，「現在」狀態將包括昨晚和前一晚的酒吧知識。現在你有9種可能的狀態來描述你現在的狀態，因此你有一個9×9的轉換矩陣。謝天謝地，這個矩陣沒有完全填充。

爲了理解爲什麼，當你組織的如此精細時，考慮一個稍微不同的設置，以便根據最近的兩次訪問爲今天和明天的酒吧選擇做出明確的計劃。然後，您可以選擇連續兩天訪問的任何可能的酒吧排列組合。結果是一個完全填充的9乘9矩陣，它將過去兩天的選擇映射到接下來的兩天。然而，在我們原來的問題中，我們每天都做出決定，所以我們的未來狀態受到今天發生的事情的制約：在今天的下一個時間步驟（明天）變成昨天，但它仍然是「今天」定義的一部分，在那個時間步驟，並且與第二天發生的事情有關。這種情況類似於移動平均值或者後退程序。因此，從一個給定的狀態，你只能移動到三種可能的狀態（表示你今天選擇的酒吧），這意味着你的轉換矩陣的每一行只有三個非零的條目。

讓我們計算表徵每個問題的參數數量：具有三個狀態的零階馬爾科夫模型有兩個獨立參數（第一個和第二個酒吧的概率，因爲第三個酒吧的訪問概率是前兩者的補充）。一階馬爾可夫模型有一個3×3的矩陣，每列總計爲1（再次表明在任何一天總是會有一個酒吧），所以我們最終得到了六個獨立的參數。二階馬爾科夫模型具有9乘9的矩陣，每行只有3個非零項，所有列都加1，所以我們有18個獨立參數。 我們可以繼續定義高階模型，並且我們的狀態空間會相應增長。

重要的是，我們可以通過識別過去的重要特徵來進一步細化概念，並僅使用那些特徵來定義現在，即壓縮關於過去的信息。這是我在開始時提到的。例如，與其記住所有歷史記錄，我們只能記錄影響我們選擇的一些令人難忘的事件，並使用此「足夠的統計量」來構建模型。這一切歸結爲你定義相關變量（狀態空間）的方式，馬爾可夫概念自然遵循底層基礎數學概念。一階（線性）關係（和相關的線性代數運算）是大多數當前數學應用的核心。您可以用單個變量查看第n個多項式方程，也可以通過定義輔助變量來定義n個方程的等價一階（線性）系統。同樣，在經典力學中，您可以使用二階拉格朗日方程或選擇導致（一階）哈密頓公式的典範座標。最後，關於馬爾可夫問題的穩態與瞬態解決方案的註釋。絕大多數的實際應用（例如頁面排名）都依賴於尋找穩態解決方案。事實上，這種收斂到穩定狀態的存在是A.馬可夫創造鏈條的最初動機，試圖將中心極限定理的應用擴展到因變量。馬爾可夫過程的瞬態效應（如擊球時間）顯着減少研究和更加模糊。然而，將未來特定點的結果考慮爲馬爾科夫預測（而不僅僅是收斂的「均衡」解決方案）是完全有效的。