2012-12-26 60 views
3

我想在伯努利分佈的混合情況下寫下EM的MAP更新。MAP期望混合模型的最大化

我知道,對於ML估計,我們有:

E-step: compute P(Z|X,p,t) 
M-Step: (p,t)<-argmax sum(over Z): p(Z|X,p,t)log p(X,Z|p,t) 

其中P是每一類向量參數(其中K,每種尺寸d的,其中K爲類和d是多少特徵數量)和t是每個類別的多項參數。

但是,如何獲得MAP估計? p(X)是什麼?...?

回答

0

據 「機器學習 - 甲概率視角」 由Kevin P.墨菲頁350:

在M步驟中,我們相對於優化Q函數(輔助功能)對θ:

theta^t = argmax_theta Q(theta,theta^{t-1}) 

這是ML,以及執行MAP估計相反,我們修改M個步驟如下

theta^t = argmax_theta Q(theta,theta^{t-1})+log(p(theta)) 

theta是參數和θ^ {T-1}是先前的應用程序roximation的參數和theta^t是當前。

其中Q是

Q(theta,theta^{t-1}) = E[logL(theta)|Data,theta^{t-1}] 

電子步保持不變

所以基本上ML和MAP之間的區別是添加日誌(P(THETA))內argmax這是之前的日誌的參數。

對於具體的示例,其中先驗概率P(THETA)是β(α,β)分佈可以參考我的最後分配的答案在這裏:assignment

應該直截了當地使用之前的或離開它在一般的事先。