2011-05-09 34 views
10

我學習線性代數(最近開始),並很好奇,想知道它在機器學習應用,我在哪裏可以閱讀有關此線性代數應用

謝謝

+7

http://www.google.com/search?q=linear+algebra+machine+learning – Blender 2011-05-09 23:59:06

+0

機器學習算法需要對線性代數有深入的理解,並且熟悉n維空間中數據的分佈和操作。引用[ESL](http://www-stat.stanford.edu/~tibs/ElemStatLearn/)第10頁的**第一個**問題設置,「矩陣用粗體大寫字母表示;例如,一組N個輸入p矢量xi ,i = 1,...,N將由當前的混合矩陣X「 – 2013-10-24 03:52:10

+1

'表示,有趣的是,這個問題是最重要的結果之一用於該搜索查詢。 – jayelm 2014-12-17 02:25:32

回答

26

線性代數爲大多數機器學習算法提供了計算引擎。

例如,可能ML 最顯眼,最常見的應用是推薦引擎。

除了數據檢索之外,這些算法的真正關鍵在於對用作這些引擎輸入的荒謬稀疏數據的「重構」。 供給到Amazon.com的基於用戶的R/E爲(可能)大規模 數據矩陣中的原始數據,其中所述用戶是行和它的產品被表示在列 。因此,爲了有機地填充這個矩陣,每個客戶都必須 購買Amazon.com銷售的每件產品。這裏使用基於線性代數的技術。

所有目前使用的技術包括某些類型的矩陣分解,從根本上 類的線性代數技術(的如non-negative matrix approximationpositive-maximum-margin-matrix approximation(警告鏈接到PDF!)也許是兩個最常見的)

其次,許多如果不是大多數ML技術依賴於數值優化技術。 例如,最監督ML算法通過最小化由新生分類器和 從訓練數據的實際值計算出的值之間的增量涉及訓練的分類器/迴歸的創建。這可以迭代地完成或者使用線性代數 技術來完成。如果是後者,那麼該技術通常是SVD或某些變體。

第三,基於光譜的分解 --PCA(主成分分析) 和內核PCA - 也許是最常用的尺寸縮減技術, 通常在預處理步驟剛剛施加在數據流中的ML算法之前,例如 ,經常在Kohonen Map中使用PCA來初始化網格。這些技術之下的主要見解是協方差矩陣的特徵向量(從原始數據矩陣準備的具有從主對角線向下的零的正方形對稱矩陣)是單位長度並且彼此正交。

+0

+1用於矩陣分解,令人驚訝的是有多少問題可以被看作是實例 – Nicolas78 2011-05-29 06:58:49

2

在機器學習中,我們一般應對向量/矩陣的形式的數據。任何使用的統計方法都涉及線性代數作爲其整體部分。此外,它在數據挖掘中很有用。
SVDPCA是着名的涉及線性代數的降維技術。
貝葉斯決策理論也涉及大量的LA.You也可以嘗試它。