配件使用PolynomialFeatures和線性迴歸

Question

在一本書更高程度的功能，我發現下面的代碼，適合一個線性迴歸至二次數據：

m = 100 
X = 6 * np.random.rand(m, 1) - 3 
y = 0.5 * X**2 + X + 2 + np.random.randn(m, 1) 
poly_features = PolynomialFeatures(degree=2, include_bias=False) 
X_poly = poly_features.fit_transform(X) 
lin_reg = LinearRegression() 
lin_reg.fit(X_poly, y) 

但怎麼可能？我從documentation知道PolynomialFeatures(degree=2, include_bias=False)是創建一個數組，看起來像：

[[X[0],X[0]**2] 
[X[1],X[1]**2] 
..... 
[X[n],X[n]**2]] 

BUT：如何是線性迴歸能夠適應這個數據？意思是LinearRegression正在做什麼，背後有什麼概念。

我很感激任何解釋！

Answer 1

PolynomialFeatures有兩個學位將創建一個數組，看起來像：

[[1, X[0], X[0]**2] 
    [1, X[1], X[1]**2] 
    ..... 
    [1, X[n] ,X[n]**2]] 

讓我們把上面X矩陣。然後，將線性迴歸是尋找3個數字a,b,c使得矢量

X* [[a],[b],[c]] - Y 

具有可能的最小均方誤差（其平方在上述矢量的總和的只是平均值）。

請注意，產品X* [[a],[b],[c]]只是矩陣X與列向量[a,b,c].T的乘積。結果是與Y具有相同維度的向量。

關於在您的評論的問題：

1. 此功能是新的功能集線性：x, x**2。請考慮x**2作爲您的模型的附加功能。

2. 對於你的問題中提到的特定的陣列，所述線性迴歸方法是尋找數字a,b,c最小化總和

   （A * 1 + B X [0] + C X [0] ** 2-Y [1]）** 2+（a * 1 + b X [1] + c X [1] ** 2-Y [1]）** 2 + .. +（a * 1 + b X [n]的+ C X [n]的** 2-Y [n]）的** 2

因此，將找到一組這樣的數字a,b,c的。因此，建議的功能y=a+b*x+c*x**2不僅僅基於第一行。相反，它基於所有行，因爲所選的參數a,b,c是那些最小化以上總和的參數，並且這個總和涉及來自所有行的元素。

1. 一旦您創建了矢量x**2，線性迴歸只是將其視爲附加功能。你可以給它一個新的名字v=x**2。然後線性迴歸的形式爲y=a+b*x+c*v，這意味着它在x和v中是線性的。該算法不關心你如何創建v。它只是將v作爲附加功能。