PCA，TruncatedSVD和ICA有什麼區別？

Question

有人可以告訴我PCA（主成分分析），TruncatedSVD（截斷奇異值分解）和ICA（獨立成分分析）之間的差異嗎？

Answer 1

詳細操作需要長頁面PDF文檔:-)。

但這個想法很簡單：

1. 主成分分析（PCA） - 分析數據本地座標。即沿着數據的最具能量的協調（方差）。對於維數爲d的樣本，將有$ d $正交方向。即投影在它們上面的數據沒有相關性。如果我們將數據視爲隨機變量，這意味着我們找到了一個座標系，其中來自投影數據的任何一對的交叉相關（第一個矩）消失。
   這是一種非常有效的方法，通過保持大部分能量來以較低的維度逼近數據。
2. 截斷SVD - 可以證明計算這些座標系的方法之一是使用SVD。因此，這是應用PCA背後思想的方法。
3. 獨立分量分析（ICA） - 這是離PCA更遠的一步。在PCA中，我們僅處理ICA中數據的一階矩（相關性），我們正在研究更高的時刻，並試圖找到消除較高時刻的數據投影（考慮缺乏相關性與概率獨立性）。