A-01 最小二乘法

目录

• 最小二乘法
• 一、最小二乘法——代数法
• 二、最小二乘法——矩阵法
• 三、最小二乘法优缺点
  • 3.1 优点
  • 3.2 缺点

更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/p/11686958.html

最小二乘法

最小二乘法，可以理解为最小平方和，即误差的最小平方和，在线性回归中，误差=真实值−预测值$误差=真实值-预测值$。最小二乘法的核心思想就是——通过最小化误差的平方和，使得拟合对象无限接近目标对象，最小二乘法一般解决线性问题。

一、最小二乘法——代数法

假设线性回归的假设函数为

hω(x0,x1,⋯,xn)=ω0x0+ω1x1+⋯+ωnxn=∑i=0nωixi(1)(2)$$\begin{array}{}\text{(1)}& h_{\omega }(x_0,x_1,\cdots ,x_n)& ={\omega }_0{x}_0+{\omega }_1{x}_1+\cdots +{\omega }_n{x}_n\text{(2)}& & =\sum _{i=0}^n{\omega }_i{x}_i\end{array}$$

其中n−1$n-1$是特征数。如果针对所有的ωi(i=1,2,⋯,n)${\omega }_i(i=1,2,\cdots ,n)$而言，假设函数是非线性的，但是针对某一个ωi${\omega }_i$的话，由于变量只剩下一个ωi${\omega }_i$，假设函数就是线性的，既可以使用最小二乘法求解。

通过线性回归的假设函数既可以得到目标函数为

J(ω0,ω1,⋯,ωn)=∑j=1m(hω(x(j))−y(j))2=∑j=1m(∑i=0nωix(j)i−y(j))2(3)(4)$$\begin{array}{}\text{(3)}& J({\omega }_0,{\omega }_1,\cdots ,{\omega }_n)& =\sum _{j=1}^m(h_{\omega }(x^{(j)})-y^{(j)}{)}^2\text{(4)}& & =\sum _{j=1}^m(\sum _{i=0}^n{\omega }_i{x}_i^{(j)}-y^{(j)}{)}^2\end{array}$$

其中m$m$为样本数。

利用目标函数分别对ωi${\omega }_i$求偏导，并且令导数为0，即

∑j=1m∑i=0n(ωix(j)i−y(j))x(j)i=0$$\sum _{j=1}^m\sum _{i=0}^n({\omega }_i{x}_i^{(j)}-y^{(j)})x_i^{(j)}=0$$

通过求解上式，可以得到n+1$n+1$元一次方程组，通过求解这个方程组就可以的得到所有的ωi${\omega }_i$。

二、最小二乘法——矩阵法

最小二乘法矩阵法比代数法简单不少。我们把代数法中线性回归的假设函数可以写成

hω(X)=Xω$$h_{\omega }(X)=X\omega$$

其中hω(X)$h_{\omega }(X)$是m∗1$m\ast 1$维的向量，X$X$是m∗n$m\ast n$维的矩阵，ω$\omega$是n∗1$n\ast 1$维的向量，m$m$为样本数，n$n$为特征数。

通过上述矩阵形式的假设函数可以得到矩阵形式的目标函数为

J(ω)=12(Xω−Y)T(Xω−Y)$$J(\omega )=\frac{1}{2}(X\omega -Y{)}^T(X\omega -Y)$$

其中12$\frac{1}{2}$只是为了方便计算。

目标函数对ω$\omega$求导取0，可以得

∇ωJ(ω)=XT(Xω−Y)=0$${\mathrm{\nabla }}_{\omega }J(\omega )=X^T(X\omega -Y)=0$$

上述求偏导使用了矩阵求导链式法则和两个矩阵求导的公式

∇X(XTX)=2X∇Xf(AX+B)=AT∇AX+Bf(5)(6)$$\begin{array}{}\text{(5)}& & {\mathrm{\nabla }}_X(X^{T}X)=2X\text{(6)}& & {\mathrm{\nabla }}_{X}f(AX+B)=A^T{\mathrm{\nabla }}_{AX+B}f\end{array}$$

通过对上述式子整理可得

XTXω=XTX两边同时乘(XTX)−1ω=(XTX)−1XTY(7)(8)$$\begin{array}{}\text{(7)}& & X^{T}X\omega =X^{T}X两边同时乘(X^{T}X{)}^{-1}\text{(8)}& & \omega =(X^{T}X{)}^{-1}{X}^{T}Y\end{array}$$

通过上述的化简可以直接对向量ω$\omega$求导，而不需要对ω$\omega$中的每一个元素求偏导。

三、最小二乘法优缺点

3.1 优点

1. 简洁高效，比梯度下降法方便

3.2 缺点

1. 最小二乘法需要计算XTX$X^{T}X$的逆矩阵，可能XTX$X^{T}X$没有逆矩阵(一般需要考虑使用其他的优化算法，或者重新处理数据让XTX$X^{T}X$有逆矩阵)
2. 当特征数n$n$非常大的时候，XTX$X^{T}X$的计算量非常大(使用随机梯度下降法或使用降维算法降低特征维度)
3. 最小二乘法只有拟合函数为线性的时候才可以使用(想办法通过某些机巧让拟合函数转化为线性的)