为什么常使用梯度下降，很少用最小二乘法

1. 最小二乘法需要计算$X^TX$的逆矩阵，有可能它的逆矩阵不存在。
2. 当样本特征n非常的大的时候，计算$X^TX$的逆矩阵是一个非常耗时的工作（nxn的矩阵求逆），甚至不可行。
3. 如果拟合函数不是线性的，这时无法使用最小二乘法。
4. 其他特殊情况下也不适合使用最小二乘法。

参考刘建平Pinard的最小二乘法总结。