最小二乘法和梯度下降的区别

在机器学习中，常看到线性回归有 最小二乘法 和 梯度下降法。

线性回归——最小二乘法 参见之前的博客：线性回归——最小二乘法小结

线性回归——梯度下降法 参见之前的两个博客：

1) 机器学习简介，单变量线性回归——梯度下降法 

2) 多变量线性回归——梯度下降法 

那么梯度下降法 和 最小二乘法的区别呢，其实二者主要在求解找到最优解时存在一些区别。

二者区别：
1 最小二乘法：

1) 一次计算即可得到最优解(全局最优解)，但极小值为全局最小值；

2) 当特征数量  大于10000时，因计算矩阵逆的时间复杂度(  )会很大；

3) 只适用于线性模型，不适用于逻辑回归等其他模型。

2 梯度下降法：

1) 需要选择学习率 ，需要多次迭代找到最优解(局部最优解)，极小值为局部最小值；

2) 当特征数量  大于10000时，也可以进行计算；

3) 适用于各种类型的模型。

总的来说，在机器学习中，最小二乘法只适用于线性模型(这里一般指线性回归)；而梯度下降适用性极强，一般而言，只要是凸函数，都可以通过梯度下降法得到全局最优值(对于非凸函数，能够得到局部最优解)。梯度下降法只要保证目标函数存在一阶连续偏导，就可以使用。
————————————————
版权声明：本文为CSDN博主「TechArtisan6」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/zaishuiyifangxym/article/details/93787233