新手在這裏排版我的問題，所以請原諒，如果這不起作用。估計多元分類中的參數
我想給一個貝葉斯分類對其中假定輸入有多元正態分佈多元分類問題。我選擇使用定義爲日誌（可能性*之前）的判別函數。
然而，從分發，
$$ {F（X \中間\畝，\ Sigma公司）=（2 \ PI）^ { - 釹/ 2} \ DET（\ Sigma公司）^ { - （det（$（$ - ）}} exp {（ - 1/2）（x- \ mu）'\ Sigma^{ - 1}（x- \ mu）]} $$
S_i $）），其中$ S_i $是特定類別i的樣本協方差矩陣。由於我的輸入實際上代表了方形圖像數據，因此我的$ S_i $發現了相當多的相關性並導致det（S_i）爲零。然後我的判別函數全部變成Inf，這對我來說是災難性的。
我知道這裏肯定會有很多事情出錯，有人會幫我解決問題嗎？
更新：任何人都可以幫助如何讓公式工作？
我不分析的概念，因爲它不是很清楚，我你想什麼，在這裏做到了，不知道這個數據集，但關於與協方差矩陣的問題：
最明顯數據的解決方案，其中需要協方差矩陣及其決定因素，並且從數值的角度出發，不可行的是使用某種降維技術來捕獲最多信息量的維度並簡單地丟棄剩餘的維度。一種這樣的方法是主成分分析（PCA），應用於您的數據並在例如5-20維之後截斷將產生具有非零行列式的降低的協方差矩陣。
PS。這可能是一個好主意Cross Validated
謝謝！實際上，關鍵是要有一個貝葉斯分類器來測試降維方法，如PCA，LDA。所以我可以說我必須嘗試另一個判別函數，因爲樣本協方差矩陣必須爲零？ – Ray
也許你沒有足夠的數據來推斷維數爲d的空間中的參數。通常情況下，你會解決這個問題的方式是採取MAP估計而不是ML。
對於多元正態分佈，這是一個normal-inverse-wishart distribution。 MAP估計將逆Wishart分佈的矩陣參數添加到ML協方差矩陣估計，並且如果選擇正確，將擺脫奇點問題。
如果您實際上正在嘗試爲正態分佈的數據創建分類器，而不僅僅是進行實驗，那麼更好的方法是使用區分方法。多元正態分佈的決策邊界是二次的，所以只需將二次核與SVM結合使用即可。
不幸的是，SO不支持LaTeX，所以你不會得到公式的工作。 – lejlot