zoukankan      html  css  js  c++  java
  • 【深度学习】沐神领读论文:ResNet

    【摘要】

    提出问题:深的神经网络难训练。使用残差学习使容易。非常容易训练,很好的精度,增加层。Imagenet 152层的深度,比vgg更低的复杂度

    CIFAR-10小数据,居然能训练100-1000层!

    COCO的目标检测数据集,用之前学习的残差网络,提升了28%。 

    【图】

    图1:56层不如20层,both on训练and测试。

    图2/3:架构图

    图4:实验结果,没加resnet,34不如18,加了之后比18强

    表4:比google-net,从7.89降到了4.49

    【introduction】

    deep CNN自动把特征的level表现出来了,

    好的初始化和BN使得很深可以训练。更深的网络并没有overfit,因为训练误差也变大了。

    理论深的新加的搞成id,是至少不比浅的差的。但sgd找不到。

    本来的浅的网络输出是x, 新加一个网络,学习h(x)-x, 不加新参数不增加复杂度,很容易训练。越深精度就越高!

    在不同数据集都很有效!

    【related work】

    shortcut之前也用到过,比如highway networks, 但之前的工作比较复杂,这里只是一个加法。

    旧的技术在更多的数据上可能结论会有不同!!!

    【实验细节】

    3.3 残差中输入和输出形状不一致的解决方法:1、输入和输出上分别添加额外的0,2、做投影,以卷积为例,用1x1的卷积核解决,通道数变为2倍,步长也为2(图像高和宽都变为1/2)

    3.4 

  • 相关阅读:
    控制层与视图层传数据
    (二)程序异常原因汇总、工具
    (十一)C语言中内存堆和栈的区别
    (二)再议MII、RMII、GMII接口
    (一)MII/MDIO接口详解
    (四)单片机系统动态内存分配,任务调度思想
    (十)Linux内核中的常用宏container_of
    (八)C语言结构体和指针
    (七)C语言中的void 和void 指针类型
    (六)C语言之typedef详解
  • 原文地址:https://www.cnblogs.com/yesuuu/p/15779797.html
Copyright © 2011-2022 走看看