2017-02-11 76 views
0

我認爲感知器學習算法對於收斂線性可分數據所需的迭代次數有一個上限。我期待找到能夠幫助我找出需要的迭代次數的確切公式,但它並不在維基百科上。如何計算感知器學習算法的最大迭代次數?

我在網上讀到這個實體依賴於數據樣本的數量,所以如果我有n個(比如說5000個)樣本,感知器會收斂多少次迭代(假設數據是線性可分的)。或者它不那麼簡單,取決於數據本身?

P.S.機器學習非常新穎,因此是一個簡單的問題。

回答

0

Wikipedia指的是Novkovoff,A.B.(1962)的證明,這是統計學習的早期結果之一。

這裏給出了在線學習環境,因此,一些稍微不同的形式:

||x_i|| ≤ D for all i(直覺:訓練情況的半徑)和margin >= γ

  • 迭代需要被上界:(D/γ)^2

有趣的結果:獨立的樣品數

  • 匯聚的結果!
  • 融合結果獨立於輸入維度!
+0

x_i可能是數據示例,但D是什麼?還有什麼是y(我們的數據集可能被分類爲+/- 1的類別或輸出)?而且,如果這與樣本數和投入維數無關,那麼它依賴於什麼? – posixKing

+0

這是一切解釋。 D是由樣本定義的一個先驗已知常數(它是描述樣本的度量)。 y也是一個常數,但它是未知的,因爲我們需要學習它。 y不是目標,它是解決方案的最終邊際。所以它依賴於輸入統計量(邊界D的範數)和最終分類器的邊界。 – sascha

+0

對不起,我的無知,但先驗是什麼意思?我有小數學背景。是否有可能將我鏈接到顯示數據集的示例站點,並計算PLA所需的迭代次數。謝謝。 – posixKing