如果分母是EM算法M步中的一個不可逆矩陣，那麼非遞減屬性會發生變化嗎？

Question

假設在EM算法的M步中，一些參數的分母是矩陣，它們是不可逆的，我們將使用僞逆矩陣來代替它。如果是這樣，那麼對數似然仍會一直增加？

我不能給出具體的情況，我捏造了這個問題。如果你真的需要一個，你可以按照維基頁面的EM算法。在濾波和平滑部分。假設分母是矩陣並且它們的和不是可逆的，那麼會發生什麼對數似然？仍然總是增加？

Answer 1

對於任何特定情況，我建議您在該設置中通過EM算法的驗證，例如https://en.wikipedia.org/wiki/Expectation%E2%80%93maximization_algorithm#Proof_of_correctness。一般來說，我認爲只要你的M步增加了EM遞增的最大值，總體上會增加對數的可能性，即使M步不是，例如，在每個步中找到絕對最大值通過。

我仍然擔心如果這個不可逆矩陣意味着你已經進入瞭解決方案集的一些特殊區域，但是。由於期望步驟計算出當前參數下的預期對數似然值，因此一些特殊參數值（尤其是零）將意味着在最大化步驟中考慮的所有可能性都共享這些特殊參數 - 有時一旦參數變爲零， EM算法永遠不會改變主意並將該參數從零移開。所以可能是這樣的，一旦你得到一個不可逆的矩陣，所有來自該位置的進一步EM步驟也將具有不可逆矩陣，在這種情況下，你可能會發現EM算法很快就會陷入局部最優解，它做了很多優化。