markov

1熱度

1回答

我想在R中繪製一個圖，它繪製了對於不同k值的馬爾可夫鏈中的最終狀態之前擊中第一個狀態的概率。但是打印時，如果我只得到k的最終值，而不是對於所有的k爲1〜17 這是一個問題：對於p = 0.5，Q = 0.1，產生的代碼來估計概率在最終狀態之前擊中狀態1，對於k = 1，...，15。產生對k的估計圖。其中k =過渡維數任何人都可以發現我的錯誤嗎？ for(k in 1:17) { p <-

0熱度

1回答

瞭解馬爾可夫決策過程的值迭代算法

在瞭解MDP的問題時，我遇到了value iteration問題。從概念上講這個例子很簡單，是有道理的：如果你有一個6面的骰子，你滾4或5或6您保持$這一數額，但如果你滾1或2或3你放棄你的資金並結束遊戲。在開始的時候，你有這麼$0滾動，而不是滾動的選擇是： k = 1 If I roll : 1/6*0 + 1/6*0 + 1/6*0 + 1/6*4 + 1/6*5 + 1/6*6 = 2

0熱度

1回答

代表馬爾可夫過程的狀態空間圖的賽車示例

有沒有人可以幫我設計狀態空間圖馬爾科夫決策過程從伯克利CS188賽車的例子。賽車例如例如，我可以做100個動作，我想運行值迭代得到最大化回報我最好的政策。當我只有3個狀態（酷，溫暖和過熱）時，我不知道如何添加「結束」狀態並完成MDP。我在考慮擁有100個冷靜狀態和100個暖狀態，例如從Cool1你可以去Cool2，Warm2或Overheated等等。在這個例子中，我接近0的狀態值高於接

-1熱度

1回答

MDP：如何計算一系列動作的每個可能結果的機會？

我有跟以下環境（3×4地圖）一個MDP問題：與可能的行動上/下/左/右和0.8機會在正確的方向移動，每個相鄰方向0.1（例如，對於向上：0.1機率去離開,0.1機率去對）。現在我需要做的是計算出可能的結果在（1,1）開始運行的動作順序如下： [向上，上，右，右，右] 而且還要計算到達一個領域（對於每個可能的結果）與這個行動序列的機會。我怎樣纔能有效地做到這一點（所以沒有通過至少2^5，最大3^

1熱度

1回答

在Matlab中存儲函數循環中的值

我正在用Matlab編寫一個函數來模擬中風病人住院時間。我很難存儲我的輸出值。這裏是我的功能： function [] = losdf(age, strokeType, dest) % function to mdetermine length of stay in hospitaal of stroke patients % t = time since admission (days)

1熱度

1回答

如何實現簡單的步幅預測器？

我已經實現了一個上下文Markov predictor，我需要製作一個stride predictor，將它們合併爲一個hybrid predictor。首先我需要實現這個stride predictor。我讀過它，我發現這個figure，但我想讓它變得更簡單。經典公式是Vn=V(n-1)+(V(n-1)-V(n-2))，我認爲有兩個變量difference1等於V(n-1)-V(n-2)和d

1熱度

1回答

生成柯爾莫哥洛夫 - 查普曼方程馬爾可夫過程

我正在尋找一種方式來產生柯爾莫哥洛夫 - 查普曼方程Mathcad來解決馬爾可夫鏈的問題。問題是要找到系統的狀態之一的概率。系統有N個組件。我有2^N個節點（狀態），和2 * N參數的曲線圖：N a的，這是概率第N個成分會分解和N b的，這是破組件將成爲健康的概率再次。 N可以是接近10，這意味着，將有1024個方程式至少，所以我在尋找一種方式來產生這些方程。的Mathcad是不是必需的，任

2熱度

1回答

功能編程和馬爾可夫鏈是否有關聯？

銀鴻描述爲馬爾可夫鏈的一個特性：未來是獨立給出本 https://www.youtube.com/watch?v=lfHX2hHRMVQ（4分鐘到視頻）過去這引起了共鳴的因爲我目前正在學習函數式編程（FP）。在FP你也可以忽略過去，因爲你的函數只需要以執行一些動作，並輸出一個新狀態的當前狀態。這並不一定適用於面向對象，因爲您的輸出可能取決於不同地方的多個州。有沒有我不知道的FP和馬爾可夫鏈

0熱度

1回答

使用markovchain包比較兩個經驗估計的馬爾可夫鏈

我需要比較兩個概率矩陣來知道鏈的接近程度，所以我會使用測試結果的P值。我試圖使用markovchain r軟件包，更具體地說是divergenceTest函數。但是，問題在於該功能沒有正確實施。它基於第139頁上的書「Statistical Inference Based on Divergence Measures」的測試，我聯繫了軟件包開發人員，但他們仍未糾正，所以我嘗試實施，但遇到了麻煩，

0熱度

1回答

爲什麼在鮑姆韋爾奇算法中使用隱馬爾可夫模型與馬爾可夫模型

所以我試圖建立鮑姆韋爾奇算法來爲練習做詞性標記。但是，我對使用隱馬爾可夫模型與馬爾科夫模型感到困惑。因爲你似乎失去了從州到州的背景。由於在移動到下一個狀態時不考慮最後狀態的輸出。只是爲了節省內存嗎？編輯：添加了一個例子，爲了清楚起見例如，如果兩個狀態，A和B輸出0或1會有4個狀態轉換和2種obseravation可能性對於每個狀態，其可以可被製成如果您將每對傳入轉換與其狀態的迷惑概率混合，則會