zoukankan      html  css  js  c++  java
  • 【2020春】李宏毅机器学习(Tips for DL)

    sigmoid会衰减输入的影响(大input,小output),层数过多的话,导致输入对cost的影响几乎为0

    ReLU是Maxout的特例,Maxout比ReLU更灵活

    如何训练Maxout

    等价这个网络(不同的样本更新不同的参数)

    优化器AdaGrad

    RMSProp

    local minima(参数越多,可能性比较小,因为要求每个weight都是最低点) / saddle point / 鞍点

    Momentum(动量)

    vi是所有历史梯度的加权和

    前边是如何在train data取得好结果。后边是如何在test data取得好data。

    Early Stopping

    L2 regularization,乘上一个小于1的数,就会导致w越来越接近0,也就是不要离0太远,但是后边还有一项保证不是所有参数都成0. 这就是weight decay。因为每次都乘系数,所以最后都比较接近0,不会有很大的值(和L1的区别)。

    在实际应用中,regularization有帮助,到那时可能没有那么重要,不像SVM中那么重要,因为初始化参数一般都是从0周围开始,early stopping也可以防止离0太远。

    L1 也是接近0,但是每次减去的都是固定的。所以有接近0的,也有很大的值,显得比较稀疏。

    Regularization = Weight Decay

    Dropout

    For each min-batch,we resample the dropout neurons。

    测试时候两件事,1: 不要dropout;2:乘以(1-p)即dropout_keep_prob。

    一个mini-batch训练一个网络;部分参数是共享的;


  • 相关阅读:
    2.(两个单链表 加法运算)ADD TWO Numbers
    1.从一串数字中找到相加等于target的两个数。TWO SUM
    idea自动注入和自动编译
    idea安装plugin
    idea刷新项目、清除项目缓存
    idea配置jdk
    负载均衡,会话保持,session同步(转)
    【Spring源码分析】Bean加载流程概览
    Maven使用--基本入门
    Git使用:
  • 原文地址:https://www.cnblogs.com/CheeseZH/p/13617434.html
Copyright © 2011-2022 走看看