zoukankan      html  css  js  c++  java
  • 机器学习---正则化

    正则化的目的是为了防止过拟合,降低模型的复杂度。

    正则化的打开方式:

    在目标函数后面添加一个系数的“惩罚项”。

    式中, frac{lambda}{2m} 是一个常数, m 为样本个数, lambda 是一个超参数,用于控制正则化程度。

    1、L1正则化:在目标函数后面加了所有特征系数的绝对值之和。L1正则化更适用于特征选择,每次更新过程中会减去或加上一个常数,容易产生特征系数为 0 的情况,因此会让特征变得稀疏。

    2、L2正则化: 在目标函数后加上了所有特征系数的平方和。L2正则化更适用于防止模型过拟合,每次更新时对特征系数进行一个比例的缩放,这会让系数趋向变小而不会变为 0,因此L2正则化会让模型变得更简单,防止过拟合,而不会起到特征选择的作用。

     

     3、dropout:每一次的迭代中都会随机删除,只训练剩下的节点,每次迭代删除的节点不一样,相当于每次迭代训练的都是不一样的网络。

    设置一个超参数 keep_prob,比如将 keep_prob 设置为 0.7,那么就会随机30%的节点消失,消失这个动作其实很简单,只是将这一层的参数矩阵与根据 keep_prob 生成的 {0, 1} 矩阵做 逐点乘积,

     https://www.jianshu.com/p/569efedf6985

  • 相关阅读:
    Airflow使用笔记
    公共关系学(第二版)笔记
    公众关系秘籍
    SQL SERVER XML 学习总结
    hadoop 1.2.1 配置
    ssh
    centos&windows的共享文件(通过挂载)
    代理设置(wget/yum)
    环境变量设置
    centos7 自定义服务
  • 原文地址:https://www.cnblogs.com/gaona666/p/12994695.html
Copyright © 2011-2022 走看看