GDA（高斯判別分析）的對數似然函數

我無法理解Andrew Ng的CS229筆記中給出的GDA的似然函數。（φ（y（i）| y（i）;μ0，μ1，Σ）p（y（i）;φ ）}GDA（高斯判別分析）的對數似然函數

鏈路是http://cs229.stanford.edu/notes/cs229-notes2.pdf頁面5.

對於線性迴歸函數是乘積從i到熔點（Y（I）| X（ⅰ）; THETA），其對我有意義。爲什麼在這裏有一個變化，說它是由p（x（i）| y（i）給出的並且它乘以p（y（i）; phi）？在此先感謝

2015-09-06 Sridhar Thiagarajan

第5頁是

l(φ,µ0,µ1,Σ) = log <product from i to m> p(x_i, y_i;µ0,µ1,Σ,φ)

留出的參數φ,µ0,µ1,Σ現在，可以簡化爲

l = log <product> p(x_i, y_i)

使用鏈式法則，你可以進行轉換的任何

l = log <product> p(x_i|y_i)p(y_i)

或

l = log <product> p(y_i|x_i)p(x_i).

在5頁式，所述φ移動到p(y_i)，因爲只有p(y)依賴於它。

的可能性開始與聯合概率分佈p(x,y)代替的條件概率分佈p(y|x)，這就是爲什麼GDA被稱作生成模型（模型從X到Y和從Y到X），而logistic迴歸被認爲是一種歧視性模型（從x到y的模型，單向）。兩者都有其優點和缺點。關於下面的內容似乎有一章。

來源

2015-09-06 18:29:45 aleju

嗨，給予x（可能是矢量）和y值（0或1）的訓練集。什麼是p（x_i，y_i），即聯合概率denssity函數表示它的含義。模型我明白，爲了使θ最大化的可能性最大化，我從mp到mp（y_i，x_i）..在這種情況下，可能性是參數mu，phi和sigma。關節pdf在這裏表示的是什麼.. –

[聯合概率分佈]（https://en.wikipedia.org/wiki/Joint_probability_distribution）對兩個（或更多）隨機變量的聯合分佈建模。例如。如果知道P（X，Y），可以估計p（X = 1，Y = 0），p（X = 15，Y = 1），p（X = ，Y = 1）= p（Y = 1 ），p（X = 1，Y = ），...而在條件分佈P（Y | X）中，你不知道X的分佈情況。就像有人把你隨機的X值和你所能做的就是告訴他們的Y值，也就是說你不能從y向x後退。 – aleju

GDA（高斯判別分析）的對數似然函數

回答

相關問題