L1正则与L2正则 - 走看看

zoukankan html css js c++ java

L1正则与L2正则

L1正则是权值的绝对值之和，重点在于可以稀疏化，使得部分权值等于零。

L1正则的含义是

1.OWL-QN算法http://blog.csdn.net/google19890102/article/details/47424845

对于目标函数中包含加性的非平滑项并使用梯度下降求解的问题，如果可以使用proximal operator，则解法如下：

假设目标函数为 $min_x f(x) + h(x)$ 其中 $f(x)$ 可导，而 $h(x)$ 不可导。
则每步迭代更新为 $x^{k+1} = Prox_{h,eta}(x^k - eta riangledown f(x^k))$
其中， $Prox_{h,eta} (x) = arg!min_y frac{1}{2eta}|y - x|^2 + h(y)$
如果 $h(x) = |x|_1$ ，也就是题目中要求的L1范数正则化，则对应的 $Prox_{h,eta} (x) = arg!min_y frac{1}{2eta}|y - x|^2 + |x|_1 = hat{y}$
$hat{y}_i = egin{cases} x_i - eta & ext{if} x_i-eta > 0 \ x_i + eta & ext{if} x_i+eta < 0 \ 0 & ext{otherwise} \ end{cases}$

2.在scikit-learn中l1正则使用坐标下降和最小角回归来实现优化的

坐标轴下降是每次固定其他维度，选择其中一个维度来更新目标函数值，遍历所有的维度，迭代多次，直到目标函数值没有发生明显变化。

L2正则的重点在于防止过拟合，没有稀疏特征的效果。L2正则在梯度下降的时候可以直接求导

∥w∥²≤c

查看全文

相关阅读:
类加载器
 会话机制
 数据库读写分离
 代码优化工具
 杀毒软件框架设计
 树状结构
 spring依赖注入
 never stop believe yourself
利用callKit实现电话防骚扰
 mac上使用使用rz,sz命令

原文地址：https://www.cnblogs.com/fisherinbox/p/6698251.html

Copyright © 2011-2022 走看看