最大方差展開

Question

我想知道是否有人知道解釋最大方差展開算法是如何工作的直觀方式，以及這與最大方差校正之間的差異，並且可以共享。我仍然試圖將我的頭圍繞在多種學習和半定義的編程上，並希望在將這一切聯繫在一起的任何幫助。

謝謝！

Answer 1

最大方差展開（MVU）可以看作是主成分分析的非線性泛化。所以，MVU是非線性降維的一種方法。最大方差展開的目標是學習高維數據的忠實低維表示。

如果最重要的可變性模式是非線性的並且MVU試圖改善它，PCA效果不佳。最大方差展開算法基於簡單的直覺。想象一下，輸入通過剛性杆連接到它們的k個最近鄰居。 （k的值是算法的一個自由參數。）算法試圖拉開輸入，使其成對距離的總和最大化，而不會破壞（或拉伸）連接最近鄰居的剛性杆。輸出是從這個轉換的最終狀態中獲得的。

該算法可以概括如下：

(1) Form a graph that connects each point to its k neighbors. 
(2) Add additional edges by connecting points that are common neighbors of another point in the data set. 
(3) Compute the Gram matrix (centered on the origin) that corresponds to the maximum data variance and also preserves the distances between all connected points. 
(4) Find the lower dimensional embedding using kernel PCA. 

我會鼓勵你去通過這個document。