机器学习中正则化项L1和L2的直观理解
一、总结
一句话总结:
l1正则化:$$operatorname { cost } = ( Wx - ext { real } y ) ^ { 2 } + ext { abs } ( W )$$
l2正则化:$$operatorname { cost } = ( W x - ext { real } y ) ^ { 2 } + ( W ) ^ { 2 }$$
L1正则化是指权值向量w中各个元素的绝对值之和,通常表示为∣∣w∣∣1
L2正则化是指权值向量w中各个元素的平方和然后再求平方根(可以看到Ridge回归的L2正则化项有平方符号),通常表示为∣∣w∣∣2
1、L1正则化和L2正则化的作用?
L1正则化可以产生稀疏权值矩阵,即产生一个稀疏模型,可以用于特征选择
L2正则化可以防止模型过拟合(overfitting);一定程度上,L1也可以防止过拟合
二、机器学习中正则化项L1和L2的直观理解
转自或参考:机器学习中正则化项L1和L2的直观理解
https://blog.csdn.net/jinping_shi/article/details/52433975