在machine learning的优化中,经常看到一些目标表达式加上正则项来防止过拟合。
比如:
最后一项就是正则项。
加入正则项会导致weight decay,它使得weight趋向于零,因为对于overfitting现象,weight值会过拟合的高,加入正则项使得优化式和数据妥协,防止过拟合现象。