神經網絡或任何其他監督學習算法可以學習特殊的統計方法嗎？

Question

我明白與任意數量的隱層可以逼近非線性函數的神經網絡，但它甚至預測一些特殊功能，尤其是做同樣的一些統計方法？

假設的分類問題的統計規則如下。對於訓練集輸入X_train和輸出Y_train，我們計算屬於每個特定類的X_train的幾何平均值（即每個特定類別的X_train的中心）。因此，對於每個班級，我們都有一個X的中心。現在對於測試數據，我們通過找到訓練中心最短的歐式距離來估計班級標籤。例如，假設訓練使得中心如下映射：（-1,1,1） - > 0，（1,1,1） - > 1。然後，對於測試數據（-0.8,0.5,1），因爲它更接近（-1,1,1），它應該屬於類0

的問題是，我不知道是否有監督學習方法可以做到以上的策略。我會稱之爲'監督k-means'。 KNN方法是相似的，但是它基於N個最近點而不是所有訓練點的平均值找到標籤。

我想知道如果神經網絡可以做到這一點。或者我錯過其他可以實際執行上述策略的學習技巧？如果我試圖學習的統計策略更復雜，例如包括中心和協方差，會怎樣？

Answer 1

要使用神經網絡對這樣的問題將是一個過沖。

Linear discriminant analysis和Gaussian naive Bayes做類似於你描述的東西。他們將每個班級的中心估算爲算術平均值，並將每個點與最近的中心聯繫起來。但是他們計算修改後的距離而不是歐幾里得：GNB估計每個特徵的條件方差，LDA也估計協方差。他們還考慮到以前的課堂概率。這些修改可能會改善你的分類，但如果你不需要它們，你可以自己寫一個算法。