zoukankan      html  css  js  c++  java
  • 正则化的其他方法

      除了L2正则化dropout(随机失活)正则化之外,还有几种方法可以减少神经网络的过拟合,即数据集扩增early stopping

    一、数据扩增

      在计算机视觉数据中,通常做法是对图片的水平翻转,以及通过随意翻转和放大裁剪等操作。

      虽然这样的做法与重新收集的图片数据相比,少了很多信息,但是这样做基本没有花费,代价几乎为零,除了一些对抗性的代价。以这种方式扩增数据,进而正则化数据集,减少过拟合比较廉价。

    二、Early Stopping

      在训练过程中,我们希望训练集误差与验证集误差同时下降,当验证集误差下降到某个点后呈上升趋势而训练集误差仍处于下降趋势,那么early stopping的作用就是在该点提早停止训练神经网络的迭代过程,这样我们就得到一个中等大小的W的F范数(弗罗贝尼乌斯范数),与L2正则化相似,选择参数W范数较小的神经网络,使得神经网络不至于过拟合。

      Early Stopping的主要缺点在于:提早停止梯度下降即停止优化代价函数J,导致J的值不够小,还有就是我们不希望出现过拟合。我们并没有采取不同的方式来解决这两个问题,而是使用同一种方法解决两个问题,这样做使得问题变得复杂。

      Early Stopping的有点在于:只需运行一次梯度下降,就可以找出W的范数较小的值,中间值和较大的值,而无需像L2正则化一样尝试很多正则化参数lumda而导致搜索lumda的计算代价很高的缺点。

  • 相关阅读:
    jquery笔记
    linux的日常经常使用的命令
    IDEA设置类注解和方法注解(详解)
    java读取项目或包下面的属性文件方法
    枚举类的使用
    将一个浮点数转化为人民币大写字符串
    简单五子棋实现
    crontab 设置服务器定期执行备份工作
    linux创建日期文件名
    代码层读写分离实现
  • 原文地址:https://www.cnblogs.com/houjun/p/8413741.html
Copyright © 2011-2022 走看看