支持向量機的幾何直覺

Question

嗨， 我有一個很大的困難試圖理解爲什麼支持向量機的超平面方程中有一個1後> =？ w.x + b> = 1 < ==（爲什麼這1 ??）我知道這可能是關於y軸上的交點的東西，但我不能將它與支持向量及其分類的含義聯繫起來。 任何人都可以請解釋我爲什麼方程式有1（-1）？

謝謝。

Answer 1

1只是一個代數簡化，它在隨後的優化中很方便。

首先，通知，所有三個超平面可以表示爲

w'x+b= 0 
w'x+b=+A 
w'x+b=-A 

如果我們要解決的正常w，||w||=1常態，那麼上面將有依賴於一些任意A一個解決方案數據，請撥打我們的解決方案v和c（分別爲最佳w和b的值）。但是，如果我們讓w有任何常態，那麼我們就可以很容易地看到，如果我們把

w'x+b= 0 
w'x+b=+1 
w'x+b=-1 

然後有一個獨特的w滿足這些方程，它是由w=v/A，b=c/A給出，因爲

(v/A)'x+(b/A)= 0 (when v'x+b=0) // for the middle hyperplane 
(v/A)'x+(b/A)=+1 (when v'x+b=+A) // for the positive hyperplane 
(v/A)'x+(b/A)=-1 (when v'x+b=-A) // for the negative hyperplane 

換句話說 - 我們假設，這些「支持向量」滿足w'x+b=+/-1方程爲未來的簡化，我們可以做到這一點，因爲任何解決方案SATIS FING v'x+c=+/-A有我們的方程的解決方案（與w不同的標準）

所以一旦我們有了這些簡化我們的優化問題簡化爲的||w||（保證金，規模最大化規範的最小可現在表示爲`2/||w||）。如果我們保留「正常」方程的值（不是固定值），那麼餘量的最大化將在一個「維度」中 - 我們將不得不通過w,b,A來查找使其最大化的三元組（作爲「限制」將採用y(w'x+b)>A的形式）。現在，我們只需搜索w和b（在雙重製定中 - 只需通過alpha，但這是全新的故事）。

這一步是不需要。您可以在沒有它的情況下構建SVM，但這會讓事情變得更簡單 - Ockham的剃刀規則。

Answer 2

這個邊界被稱爲「保證金」，必須被最大化，那麼你必須儘量減少|| w^||。 支持向量機的目的是找到一個能夠最大化兩組之間距離的超平面。

然而，有無限的解決方案（參見圖：沿垂線向量移動最優超平面），我們需要修正至少邊界：+1或-1是避免這些無限解的常用慣例。

形式上你必須優化r || w ||並且我們設置了一個邊界條件r || w || = 1.