zoukankan      html  css  js  c++  java
  • ResNeXt论文阅读总结

     这篇博客不从详细的原理介绍ResNeXt,而是谈一谈博主阅读ResNeXt之后的一些思考。所以需要详细了解原理的读者可以自行阅读论文 Aggregated Residual Transformations for Deep Neural Networks

    0. Prerequisite knowledge

    1.Thinkings & Abstract

     首先我刚刚开始读论文的时候对ResNeXt的第一印象就是Inception和ResNet的结合改进版本,而两者的结合版叫做Inception-ResNet,作者也在论文上面说了ResNeXt与它的关系,我后面会详细介绍。
     然后就是我读完整篇论文的感受就是,作者设计这个网络虽然看着与Inception-ResNet十分相似,但是它其实吸收了三种代表网络的设计原则:

    1. 吸收了ResNetshortcut connections的思想加深了网络的depth
    2. 吸收了Inceptionsplit-transform-merge策略扩展了网络的cardinality
    3. 吸收了VGG简练的设计原则,克服了Inception各种卷积核参数过于复杂,难以控制的缺点

     从上面的总结就能够看出来作者设计ResNeXt网络与Inception-ResNet最大的区别就在于简练的设计原则,即ResNeXt在Block的每一个Path分支上都采用了相同的拓扑结构,将需要考虑的超参数减少到最基本的三个,即:

    • depth:网络深度
    • width:层的通道数目 (the number of channels in a layer)
    • cardinality:直译过来就是基数,其实就是指transform的分支个数。

    2. Intro & Principle Analysis

     原理的部分我就不细讲了,这里我附上一各我感觉写的很不错的知乎博客,ResNeXt 深入解读与模型实现

    3. Trash talk

     读完文章之后感觉作者真的是个写作鬼才,特别是那个回顾单个神经的那个section,将输入向量与权重的内积也看做一种聚合变换,从而推导出ResNeXt的广义定义,不得不说作者讲故事的能力一流。
    在这里插入图片描述
     虽然ResNeXt作为CVPR2017上面的论文,但是博主还是觉得这篇paper的创新性确实有待商榷。但从另一方面来看,作者讲故事的功夫还是很厉害,从几个原则推导出了一个完整的ResNeXt理论框架,前后逻辑十分流畅,作为顶会论文还是有点东西的。

  • 相关阅读:
    阿里巴巴Java编码规范插件安装使用指南
    jhipster安装_Windows
    Linux 基本命令
    HTTPie命令介绍
    MySQL卸载
    Windows Phone8.1系统新特性
    SQL 游标知识整理
    浅析C#代理
    javascript 实现ajax
    jquery 之load post get
  • 原文地址:https://www.cnblogs.com/lsl1229840757/p/14122563.html
Copyright © 2011-2022 走看看