zoukankan      html  css  js  c++  java
  • CS231n 2016 通关 第六章 Training NN Part2

    本章节讲解 参数更新 dropout

    =========================================================================================

    上节内容回顾与总结:

      模型过程:

      激活函数:注意理解各个函数的优缺点

      数据预处理:

      权重参数初始化:Xavier方法,使用较多。

      batch normalization :

      

      cross validation :比较loss 结果,选择合适学习率

    =========================================================================================

      本章知识点:

    =========================================================================================

    Parameter Update :

      训练NN的代码结构:

      最后一行即为参数更新。

      sgd的轨迹: 

      因为minibatch的原因,在波动中收敛。

      Momentum update

      

      加入了动量,加速收敛。

      SGD vs Momentum

      Momentum 直观解释:

      Nesterov Momentum

      更新公式比较:

      AdaGrad update : 前两种是在更新方式上的算法,接着总结学习率更新的算法

        自适应梯度,根据误差项来调整学习率。  

      显然,在误差较大时学习率低,当误差减小时,学习率升高。

      RMSProp update :

      Adam update :


      

      Learning rate :

      可以使用开始时较大的学习率,之后逐步衰减的方法。

      第二种优化方法:

      损失函数泰勒展开: 

        这种方法,不需要超参数,学习率等。但是不实用,因为需要计算H-1,即海森矩阵。其比较庞大。

      拟牛顿法:

      

      实际应用:

    =========================================================================================

    model ensemble :在测试的时候,使用多个模型,对结果做平均值。

      

    一些技巧: 

    =========================================================================================

    Dropout :

      示意图:

      代码结构:

      模型实例:

        

      测试阶段:没有dropout

      在training 阶段做出一些调整:

      修改后:

      两种方式:

    =========================================================================================

     CNN 发展过程

        

      视觉系统是由简单结构到复杂结构,信号的抽象过程。

      

      拟生视觉网络。

      现阶段:分类、复原、识别应用广。

      

      

      

    附:通关CS231n企鹅群:578975100 validation:DL-CS231n 

  • 相关阅读:
    图解iPhone开发新手教程
    究竟什么是关系数据库?
    【设计模式】模板方法模式
    SoftReference
    OpenCV在ARM上的移植
    Luci流程分析(openwrt下)
    delete
    delete
    浅析busybox-1.12.0中ash的脚本命令局限性
    shell总结:读取文件、参数、if、分割字符串、数组长度、空文件、变量赋值、多进程、按行切割文件、查看线程
  • 原文地址:https://www.cnblogs.com/wangxiu/p/5691368.html
Copyright © 2011-2022 走看看