正则化
解释
- L1正则化在尖角处更大概率发生碰撞，此时的解(w_1 = 0)
- L2正则化：使得模型的解偏向于范数较小的(W)，通过限制(W)范数的大小实现了对模型空间的限制，从而在一定程度上避免了过拟合。不过岭回归并不具有产生稀疏解的能力，得到的系数仍然需要数据中的所有特征才能计算预测结果，从计算量上来说并没有得到改观
- L1正则化：能产生稀疏性，导致 W 中许多项变成零。 稀疏的解除了计算量上的好处之外，更重要的是更具有“可解释性”
- L0正则化的值是模型参数中非零参数的个数，但难以求解。L1正则是L0正则的最优凸近似
约束解释
-
带正则项和带约束条件是等价的。为了约束(w)的可能取值空间防止过拟合，加上约束（这里的限制条件是2范数，对应于L2正则化）的优化问题变为：
[egin{aligned} egin{cases} mathop{min} sum limits_{i=1}^N (y_i - w^Tx_i)^2 \ s.t. ||w||^2_2 leq m end{cases} end{aligned} ] -
对应拉格朗日函数(sum limits_{i=1}^N(y_i - w^Tx_i)^2 + lambda (||w||_2^2 - m))
-
若(w^*)和(lambda^*)分别是原问题和对偶问题的最优解，则根据KKT条件，它们应满足
[egin{aligned} egin{cases} 0 = abla_w left( sum limits_{i=1}^N (y_i - w^{*T}x_i)^2 + lambda^* (||w^*||_2^2 - m) ight) \ s.t. 0 leq lambda^* end{cases} end{aligned} ] -
第一个式子对应了上图的L2正则化解空间
贝叶斯先验
- L1相当于对模型参数(w)引入拉普拉斯先验
- L2相当于引入高斯先验，而拉普拉斯先验使参数为0的可能性更大