正规方程(Normal Equation)
正规方程是通过一个公式来计算最小值，并不需要像梯度下降那样迭代，也不需要做 feature scaling
梯度下降和正规方程的比较：
|
梯度下降 |
正规方程 |
|
需要选取 alpha 值 |
不需要选取 alpha 值 |
|
需要多次迭代 |
不需要迭代 |
|
O(kn2) |
O(n3) |
|
当 n 很大时也可以计算出来 |
当 n 很大时计算会非常慢 |
不可逆
在正规方程中，如果 XTX 不可逆，可能有两个原因：
- 有冗余的 feature ，譬如有两个 feature 联系非常紧密甚至线性相关，这时需要删除冗余的 feature
- feature 太多，feature 的数目 n 大于样本总数 m 。这种情况下需要删除一些 feature 或者做 regularization