最小二乘法 least square method

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

最小二乘法原理

在我们研究两个变量(x, y)之间的相互关系时，通常可以得到一系列成对的数据( x₁, y₁.  x₂, y₂.  …    x_m , y_m )；将这些数据描绘在x -y直角坐标系中，若发现这些点在一条直线附近，可以令这条直线方程如(式1-1)。

Y_计= a₀ + a₁ X                      (式1-1)

其中：a₀、a₁ 是任意实数

为建立这直线方程就要确定a₀和a₁，应用 最小二乘法原理 ，将实测值Y_i与利用(式1-1)计算值(Y_计=a₀+a₁X)的离差(Y_i-Y_计)的平方和〔∑(Y_i - Y_计)²〕最小为“优化判据”。

令： φ = ∑(Y_i - Y_计)²                 (式1-2)

把(式1-1)代入(式1-2)中得:

φ = ∑(Y_i - a₀ - a₁ X_i)²                (式1-3)

当∑(Y_i-Y_计)平方最小时，可用函数 φ 对a₀、a₁求偏导数，令这两个偏导数等于零。

                                                                     

亦即：

m a₀ + (∑X_i ) a₁ = ∑Y_i                          (式1-6)

(∑X_i ) a₀ + (∑X_i² ) a₁ = ∑(X_i, Y_i)                    (式1-7)

得到的两个关于a₀、 a₁为未知数的两个方程组，解这两个方程组得出：

a₀ = (∑Y_i) / m - a₁(∑X_i) / m                             (式1-8)

a₁ = [m∑X_i Y_i - (∑X_i ∑Y_i)] / [m∑X_i² - (∑X_i)² )]                 (式1-9)

这时把a₀、a₁代入(式1-1)中， 此时的(式1-1)就是我们回归的元线性方程即：数学模型。

在回归过程中，回归的关联式是不可能全部通过每个回归数据点( x₁, y₁.  x₂, y₂.  …    x_m , y_m ),为了判断关联式的好坏，可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于 1 越好；“F”的绝对值越大越好；“S”越趋近于 0 越好。

R = [∑X_iY_i - m (∑X_i / m)(∑Y_i / m)]/ SQR{[∑X_i² - m (∑X_i / m)²][∑Y_i² - m (∑Y_i / m)²]}        (式1-10) *

在(式1-1)中，m为样本容量，即实验次数；X_i、Y_i分别任意一组实验X、Y的数值。

 

 

http://baike.baidu.com/view/139822.htm

http://zh.wikipedia.org/zh-cn/%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%98%E6%B3%95

http://www.pep.com.cn/gzsx/jszx_1/jxyj/hxgn/5ckth_1/201008/t20100826_764407.htm