zoukankan      html  css  js  c++  java
  • 20:减弱过拟合

    1:减弱过拟合reduce overfitting

     (1)regularization

    (1.1)Regularization函数

     [注]λ为超参数(需要自己设置)迫使参数的一或者二范数逼近于0,。

    decay衰减

    (1.2)regularization的分类

     

    【注】pytorch中内嵌了L2-regularization的实现。只需要设置参数weight_decay就可将参数的二范数逼近于0。

     

     [注]pytorch中目前没有对L1-regularization的支持,故只能手动实现。

    (2)dropout:通过参数p来控制输出-输入断掉的概率

     

     [注]Dropout断掉的是前一层的输出需要断掉多少概率的out来作为下一层的输入。

     【注】tensorflow和pytorch的区别是,pytorch中的参数p是断掉的概率,tensorflow中是保持的概率。

     【注】在进行val-set数据集的test时,需要把网络切换到eval(),防止输入被drop掉。否则在进行test-set数据集的test时,约定test没有drop,所以会出现效果差的现象。

  • 相关阅读:
    20130118
    延迟加载、分页显示等功能的增加
    ==和Equals的区别
    20160115--Hibernate
    20160108--搜索查询
    20150105
    20151229--数据表格
    20151226--easyUI
    DreamWeaver使用技巧(转)
    20121109
  • 原文地址:https://www.cnblogs.com/jiafeng1996/p/15091622.html
Copyright © 2011-2022 走看看