用IRLS理解scipy的最小二乘函數

Question

我在理解這個函數的工作原理時遇到了一些問題。

a, b = scipy.linalg.lstsq(X, w*signal)[0] 

我知道信號是代表信號陣列，目前w只是[1,1,1,1,1...]

我應該如何操作X或w模仿加權最小二乘法或迭代重加權最小二乘？

Answer 1

如果產品X與Y的sqrt（重量），就可以計算出加權最小二乘法。 您可以通過以下鏈接獲得公式：

http://en.wikipedia.org/wiki/Linear_least_squares_%28mathematics%29#Weighted_linear_least_squares

這裏有一個例子：

準備數據：

import numpy as np 
np.random.seed(0) 
N = 20 
X = np.random.rand(N, 3) 
w = np.array([1.0, 2.0, 3.0]) 
y = np.dot(X, w) + np.random.rand(N) * 0.1 

OLS：

from scipy import linalg 
w1 = linalg.lstsq(X, y)[0] 
print w1 

輸出：

[ 0.98561405 2.0275357 3.05930664] 

WLS：

weights = np.linspace(1, 2, N) 
Xw = X * np.sqrt(weights)[:, None] 
yw = y * np.sqrt(weights) 
print linalg.lstsq(Xw, yw)[0] 

輸出：通過statsmodels

[ 0.98799029 2.02599521 3.0623824 ] 

檢查結果：

import statsmodels.api as sm 
mod_wls = sm.WLS(y, X, weights=weights) 
res = mod_wls.fit() 
print res.params 

輸出：

[ 0.98799029 2.02599521 3.0623824 ] 

Answer 2

從w的元素平方根創建一個對角矩陣W。然後，我覺得你只是想：

scipy.linalg.lstsq(np.dot(W, X), np.dot(W*signal)) 

繼http://en.wikipedia.org/wiki/Linear_least_squares_(mathematics)#Weighted_linear_least_squares