zoukankan      html  css  js  c++  java
  • 浅谈正则化

    一、机器学习正则化

         无论是机器学习还是深度学习,正则化都是一项关键的技术。其实现阶段,我们的模型都可以在训练集上去的比较好的效果,但我们的模型在测试集上的效果才是我们所关心的。因此正则化就显得尤为重要,正则化可以防止模型过拟合,增加鲁棒性。

         总的来说,监督学习的核心原理就是如下公式 :

                                                 fig

        该公式分为两部分,前一项是经验最小化,后一项为正则项。经验最小化是为了极大程度的拟合训练数据,正则项则是为了防止过分拟合训练数据。机器学习中的正则项有L1正则和L2正则.

         在聊这两个正则前,我们先说说L0正则。L0正则也就是矩阵中所有非0元素的个数,对于L0正则的理解就是希望参数矩阵W的大多数元素都为0,这样正则项就会很小。此时,可能会有人会说L1正则不就是在干这个事吗?这里面的原理,扯就一大堆,简答说:在机器学习中,L0和L1正则都可以实现矩阵的稀疏性,但在实践中,L1的泛化求解特征更好一些,所以人们大多使用L1正则而不是用L0正则。对于L1正则而言,L1范式就是矩阵中各个元素绝对值之和。至于为啥稀疏,稀疏的作用,主要是为了特征的选择和易于解释模型.

                       v2-3b7ae6b5e2644a88b561dca8d265e2e0_b

     

     

     

     

  • 相关阅读:
    Python3.5 Day2作业:购物车程序
    Python3.5 Day1作业:实现用户密码登录,输错三次锁定。
    Python3.5 day3作业二:修改haproxy配置文件。
    Python3.5 day3作业一:实现简单的shell sed替换功能
    Python3.5 day4作业:对员工信息文件,实现增删改查操作。
    栈的数组实现
    栈的链式实现
    20101217
    traits
    DES加密算法中的IP置换算法
  • 原文地址:https://www.cnblogs.com/wanghui1994/p/9988067.html
Copyright © 2011-2022 走看看