什麼是機器學習中的學習曲線？

我想知道機器學習中的學習曲線是什麼。繪製它的標準方式是什麼？我的意思是我的陰謀的x軸和y軸應該是什麼？什麼是機器學習中的學習曲線？

2011-01-06 Hossein

從來沒有聽說過的更好學習曲線。你的意思是ROC曲線？ http://en.wikipedia.org/wiki/Receiver_operating_characteristic – Stompchicken 2011-01-06 17:07:32

不，學習曲線和ROC曲線不是同義詞，因爲我試圖在下面描述。 – MattBagg 2012-12-05 02:16:04

@MattBagg：你絕對是對的，我回到編輯之前。 – Amro 2013-01-20 01:18:27

我認爲它通常是指預測精度/誤差的主場迎戰訓練集大小曲線（即：如何更好的模型是否獲得在預測目標，你的增加用來訓練它的實例數）

alt text

來源

2011-01-07 02:45:49 Amro

有些人使用「學習曲線」來表示迭代過程的誤差作爲迭代次數的函數，即它說明了一些效用函數的收斂。在下面的例子中，我繪製了作爲迭代次數函數的最小均方（LMS）算法的均方誤差（MSE）。這說明了在這種情況下，LMS「學習」信道衝激響應的速度有多快。

來源

2011-01-07 00:21:40

基本上，機器學習曲線，讓你找到該算法開始學習點。如果你開始建立自己的學習能力，那麼在開始達到常數的時候，你需要一條曲線，然後切出一個斜率作爲導數。

根據您的x和y軸的映射方式，您的一個軸將開始接近恆定值，而另一個軸的值將不斷增加。這是當你開始看到一些學習。整個曲線幾乎可以讓你測量算法能夠學習的速率。最高點通常是斜坡開始退後的時候。您可以採取一些衍生指標來衡量最高點/最低點。

所以從上面的例子中你可以看到曲線正逐漸趨向一個常數值。它最初通過訓練實例開始利用它的學習，並且斜坡在最大/最小點處變寬，並趨向于越來越接近恆定狀態。此時，它可以從測試數據中挑選新的示例，並從數據中找到新的獨特結果。你會有這樣的x/y軸測量時代與錯誤。

來源

2011-05-29 03:49:50 meme

我只想留下一個關於這個老問題的簡短說明，指出學習曲線和ROC曲線不是同義詞。

如在其它這個問題的答案所指示的，學習曲線常規描繪在當有另一個參數變化（在橫軸上），如訓練集的大小，縱軸性能改進（在機器學習）或迭代/時間（在機器和生物學習中）。一個要點是模型的許多參數在圖上的不同點上都會發生變化。其他答案在說明學習曲線方面做了很多工作。（工業製造學習曲線還有另一個含義，起源於20世紀30年代的觀察結果，生產單個單位所需的勞動時數以統一的速度減少，因爲製造單位的數量增加了一倍。是不是真的相關，但值得一提的完整性，避免在網絡搜索混淆）

相比之下，ROC曲線，或ROC曲線，並不表明學習。它顯示了性能。ROC曲線是分類器性能的圖形描述，其顯示了隨着分類器的鑑別閾值變化而增加的真正陽性率（在垂直軸上）和增加的假陽性率（在水平軸上）之間的折衷。因此，與該模型相關的只有一個參數（判定/判別閾值）在圖上的不同點發生變化。該ROC曲線（from Wikipedia）顯示了三種不同分類器的性能。

ROC curve, see previous link for CC licensing

無法在這裏被描繪的學習，但對於相當表現兩種不同類別的成功/錯誤的作爲分類的決策閾值變得更加寬鬆/嚴。通過查看曲線下面的區域，我們可以看到分類器區分類的能力的總體指示。這個曲線下面積指標對這兩個類別中的成員數目不敏感，因此如果班級成員不平衡，它可能不會反映實際表現。 ROC曲線有很多字幕，有興趣的讀者可以看看：

Fawcett, Tom. "ROC graphs: Notes and practical considerations for researchers." Machine Learning 31 (2004): 1-38.

Swets, John A., Robyn M. Dawes, and John Monahan. "Better decisions through Science." Scientific American (2000): 83.

來源

2012-12-05 02:14:52 MattBagg