线性模型的最小二乘法拟合(转)

我们知道在二维坐标中，已知两点就可以确定一个线性方程，如果有n个数据点(x1,y1),(x2,y2),...(xn,yn)，那么就会有n个线性方程，我们使用最小二乘法从这n个方程中拟合出一个最佳的线性方程，也就是求出方程的参数a，b

设某个已知的一元线性方程的表达式为：
y=a+bx
有一组权重相等的测量数据(x_i,y_i)，假定自变量x_i的误差可以忽略，那么在某个自变量x_i下，对应的测量数据为y_i，线性方程上的点为a+bx_i，二者的偏差为

d_i=y_i-(a+bx_i)，如果测量数据y_i恰好都落在线性方程上，那么d₁=d₂=...=d_i=0，此时求出的a，b无疑使最佳的，但由于误差存在，这是不可能出现的情况，因此只要

考虑所有的偏差d₁+d₂+...d_i最小，由于d有正有负，相加会互相抵消，而取绝对值又不好解方程，因此采用平方和的形式，即d₁²+d₂²+...d_i²，在d₁²+d₂²+...d_i²为最小值的情况下，求出的a，b为最佳拟合。

 http://www.cnblogs.com/xmdata-analysis/p/5048492.html