最小二乘法（Least Squares Method）本身不是一种算法，而是一种损失函数（Loss Function）的模型。用最小二乘法表示损失函数后，再通过其他优化算法求解最优值。
1. 特征： $loss\_function=sum(hat{y}_i-y_i)^2 $
2. 与最大似然估计（MLE）的关系：形式等同于残差满足正态分布的最大似然估计
3. 解法：$sum(hat{y}_i-y_i)^2，$求偏导等于0的极值点
4. 线性最小二乘问题（Ordinary Least Squares (OLS)）求解过程：
$$sum(hat{y}_i-y_i)^2$$
$$S(eta)=|Xeta-Y|^2$$
$$eta = arg min(S(eta))$$
$$S'(eta) = 2X^T(Xeta-Y)=0$$
$$X^TXeta=X^TY$$
若$X^TX$非奇异（可逆），则：
$$hat{eta}=(X^TX)^{-1}X^TY$$
5. 本质：$Y$在$X$向量空间上的投影
6. 非线性最小二乘问题解法：梯度下降、高斯-牛顿法、L-M算法等