markov-chains

    0熱度

    1回答

    生成馬爾科夫轉移矩陣想象我有一系列的4個可能的狀態馬爾可夫(A,B,C,d): X = [A, B, B, C, B, A, D, D, A, B, A, D, ....] 怎樣才能使用Python馬爾可夫變換矩陣?矩陣必須是4乘4,表示從每個狀態移動到其他3個狀態的概率。 我一直在看很多例子,但在所有這些例子中,矩陣是給出的,而不是基於數據計算的。 我也看着hmmlearn,但是我沒有看到如

    0熱度

    1回答

    有沒有人可以幫我設計狀態空間圖馬爾科夫決策過程從伯克利CS188賽車的例子。 賽車例如 例如,我可以做100個動作,我想運行值迭代得到最大化回報我最好的政策。 當我只有3個狀態(酷,溫暖和過熱)時,我不知道如何添加「結束」狀態並完成MDP。 我在考慮擁有100個冷靜狀態和100個暖狀態,例如從Cool1你可以去Cool2,Warm2或Overheated等等。 在這個例子中,我接近0的狀態值高於接

    0熱度

    1回答

    我試圖比較馬爾可夫鏈(MC)模擬和實際數據的直方圖。我嘗試使用下面的代碼來運行模擬,但我並不完全瞭解它。 R似乎已經接受了代碼,但我不知道如何運行直方圖......對於背景,數據是美國經濟的擴張和收縮(在這裏找到:http://www.nber.org/cycles.html)。我已經將這兩個狀態之間的轉換矩陣設置爲「P」,其中列總計爲1,狀態之間的轉換計算爲「每個狀態中的轉換/月數」。我認爲,「

    1熱度

    1回答

    我試圖從頭開始構建馬爾可夫鏈用戶轉換矩陣,但卡在字典值分配中。下面是示例代碼 ## user purchase sequence seperated by '|' at different time intervals ## lets say in first purchase user bought 3 4 12 23 45 41 25 these products then 4 5 12 1

    0熱度

    1回答

    我試圖增加在每一步的離散馬爾可夫鏈中的初始狀態向量,以便在某個將來的點時間解決狀態向量元素,似乎相當麻煩。 舉一個簡單的例子,假設一個公司有一個初始狀態向量,它由具有3個轉換狀態(入門級,升級,退出公司)的入門級僱員組成。 1000入門級員工的初始狀態向量被定義爲: initialstate <- t(as.matrix(c(1000,0,0))) 剩餘入門級,獲得晉升,或離開公司的過渡矩陣由

    0熱度

    1回答

    有大量的文字模擬馬爾可夫鏈的例子,但是,對於一個狀態改變(基於概率隨着時間的推移前的天氣變化),我找不到任何的例子。對於恩,可以說 Sunny --> Sunny = probability is 0.8 Sunny --> Rainy = probability is 0.2 我在尋找什麼是寫一個算法,它可以顯示當前的天氣,直到N無步驟的方法。 爲e.g:f(3) => S,S,R 我猜我

    0熱度

    2回答

    我試圖找到鏈狀態從k-1跳轉到狀態1,然後命中狀態k的概率。 任何人都可以發現我的錯誤嗎? 我試圖模擬馬爾科夫鏈,但我想做一個代碼,讓我找到k ={1, 2, 3, ........17}的概率。但我真的無法獲得代碼。 這是錯誤消息,我總是得到 Error in while (X[i] > 1 && X[i] < k) { : missing value where TRUE/FALSE

    1熱度

    1回答

    我想在R中繪製一個圖,它繪製了對於不同k值的馬爾可夫鏈中的最終狀態之前擊中第一個狀態的概率。但是打印時,如果我只得到k的最終值,而不是對於所有的k爲1〜17 這是一個問題: 對於p = 0.5,Q = 0.1,產生的代碼來估計概率在最終狀態之前擊中狀態1,對於k = 1,...,15。產生對k的估計圖。其中k =過渡維數 任何人都可以發現我的錯誤嗎? for(k in 1:17) { p <-

    -1熱度

    1回答

    我在計算轉移概率矩陣時遇到了麻煩。我有幾個ID和他們的搜索模式(頁面訪問)。例如: Id Page 1 A 1 A 1 B 2 C 2 C 3 D 3 E 3 F 1 D 1 G 4 G 4 C 4 H 2 D 2 C 我也有頁面的初始概率:P_a,....,P_h。如何在R(最好)或Python中進行編碼,以獲得所有id的Page變量的轉換概率矩陣。我知道如何做

    1熱度

    1回答

    我正在尋找一種方式來產生柯爾莫哥洛夫 - 查普曼方程Mathcad來解決馬爾可夫鏈的問題。 問題是要找到系統的狀態之一的概率。系統有N個組件。 我有2^N個節點(狀態),和2 * N參數的曲線圖:N a的,這是概率第N個成分會分解和N b的,這是破組件將成爲健康的概率再次。 N可以是接近10,這意味着,將有1024個方程式至少,所以我在尋找一種方式來產生這些方程。 的Mathcad是不是必需的,任