zoukankan      html  css  js  c++  java
  • 正则化2

    一看就懂】机器学习之L1和L2正则化

    尘缘墨语

    百家号03-2315:18

    摘要:本文主要分为三部分,先讲述什么是正则化,再讲L1和L2正则化数学原理,最后小结对比。

    一、什么是正则化

    上篇机器学习之线性方程与学习率中引入损失函数,以便寻找最优权重W。

    然而正如大名鼎鼎的奥卡姆剃刀定律,

    模型越复杂,越容易过拟合。

    因此,原先以最小化损失(经验风险最小化)为目标:

    现在以最小化损失和模型复杂度(结构风险最小化)为目标:

    通过降低复杂模型的复杂度来防止过拟合的规则称为正则化。

    二、L1 和 L2 正则化的数学原理

    机器学习中最常见的即L1和L2正则化。

    1. L1正则化,即原损失函数 + 所有权重的平均绝对值 * λ ,其中λ >0

    根据损失更新ω,需要先对ω求导:

    那么权重ω的更新规则为:

    比原始的更新规则多出了η * λ * sgn(ω)/n。

    可见每次更新,ω都是往0靠,即使网络中的权重尽可能为0。

    2. L2正则化,即原损失函数 + 所有权重平方和的平均值 * λ / 2 , λ>0

    同样,需要先对ω求导:

    那么权重ω的更新规则为:

    原始的更新规则ω系数为1,现在为 1ηλ/n 。

    因为η、λ、n都>0,所以 1ηλ/n

    三、L1和L2正则化小结

    L1 正则化可以理解为每次从权重中减去一个常数。

    L2 正则化可以理解为每次移除权重的 x%。

    本质都是为了降低模型的复杂度,防止过拟合。

    本文由百家号作者上传并发布,百家号仅提供信息发布平台。文章仅代表作者个人观点,不代表百度立场。未经作者许可,不得转载。

    萍水相逢逢萍水,浮萍之水水浮萍!
  • 相关阅读:
    JavaScript之美读书笔记一
    关于form与表单操作
    正则表达式中的字符转义
    [codeforces 391D2]Supercollider
    [AMPPZ 2013]Bytehattan
    [那些你所不知道的鬼畜写法]平衡树学习笔记
    [AHOI 2006][BZOJ 1269]文本编辑器editor
    [BZOJ 3622]已经没有什么好害怕的了
    [POI 2008]Mafia
    [POI 2008][BZOJ 1132]Tro
  • 原文地址:https://www.cnblogs.com/AIBigTruth/p/9835153.html
Copyright © 2011-2022 走看看