如何證明EM的收斂性？

Question

您能否介紹一下如何證明期望最大化算法的收斂性？

例如EM硬幣問題：https://math.stackexchange.com/questions/25111/how-does-expectation-maximization-work

Answer 1

EM算法做最大似然估計。如果你看看日誌的可能性，E和M兩個步驟總是最大化它並不是真的。然而，如果你看負自由能函數，它們兩者總是最大化它，儘管不同的事情（如座標下降那樣）。所以是的，EM算法總是收斂的，儘管它可能收斂到不好的局部極值，這是一個不同的問題。
查看古典紙張www.cs.toronto.edu/~radford/ftp/emk.pdf以瞭解更多信息。

Answer 2

EM算法並不總是收斂。所以你的問題的細節將是重要的。