参考文献：https://www.zhihu.com/question/37031188 来自知乎：最小二乘法的本质，详细的介绍了最小二乘法的起源，用途等
https://zhuanlan.zhihu.com/p/26032019
一、什么是最小二乘法？
最小二乘法（Least Squares Method，简称为LSE）是一种数学优化技术，又称为最小平方法。
再来说一下历史，法国科学及勒让德于1806年独立发明最小二乘法；
1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-马尔科夫定理。
这是一个古老的方法，源于天文学和测地学上。
二、最小二乘法的定义
勒让德提出的最小二乘法的主要思想就是，选择未知参数，使得理论值与观测值之差的平方和最小：
是不是觉得这个公式又简单又熟悉呢？觉得它平淡无奇！这是因为如今大家的小学教育中、深初中教育中接触了这些思想，理解起来自然容易，这是在前人没有的基础上创造性的的突破。
高斯把正态分布与误差理论联系起来，是数理统计史上最大的成就之一，
....未完待续