zoukankan      html  css  js  c++  java
  • CV baseline之DenseNet

    作业内容:
       1:文字回答:DenseNet-B,DenseNet-C,DenseNet-BC分别表示什么意思?

    Densenet+bottlenect layer 瓶颈层用来降低特征图通道数,减少后续卷积的计算量

    Densenet+compression 在transition layer采用较少的卷积核进行特征提取,从而压缩特征图通道数

    Densenet+BC: 即加入bottlenect layer, 又加入compression
       2:文字回答:论文中的k表示什么意思?k,2k, 4k, 这三个值分别在哪里使用过?

    增长率,用来描述dense block钟特征图多少

    k:一个dense block有多少层

    2k:DenseNet 进入每个block前,头卷积部分用了2k个卷积核

    4k:每个block内瓶颈层卷积核数
       3:文字回答: 用自己的语言描述DenseNet网路结构由几部分组成,每个部分主要有什么组件?

    Bottlenect layer层

    DenseBlock层

    Transition Layer层

    Classification层

    组件有:Dense connectivity 稠密连接:在每一个block中,每一层的输入都来自它前面所有层的特征图,每一层的输出均会直接连接到它后面所有层的输入

    压缩函数:将BN层、ReLU层和3x3卷积层组成一组操作对特征进行提取

    池化层:用于降低特征图分辨率,DenseNet将特征图分辨率下降操作称为:transition layer,由BN,1X1卷积,2x2池化构成

    增长率:稠密连接的方式,使得特征图通道数随着网络层的加深不断增多,因此要控制特征图数量,在此引入Growth rate超参数k来衡量denseblock中特征图的多少,即卷积层中卷积核的个数

    Bottlenet layer:瓶颈层来降低特征图通道数,减少后续卷积的计算量

    Compression: 为了进一步使DenseNet紧凑,在transition layer处采用较少的卷积核进行特征提取,从而压缩特征图通道数,一般压缩率为0.5
       4:文字回答:读完该论文,对你的启发点有哪些?

    1)信息流通不顺畅时,普遍采用捷径连接来处理

    2)多采用捷径连接,便于信息流通,以及梯度传递,可使模型便于训练

    3)稠密连接在小数据集上起到正则作用,即densenet比较适合小数据集

    4)不同层处理得到的特征进行连接,可丰富下一层网络输入特征的多样性,以及提高效率

    5)ResNet的求和形式有缺陷,会阻碍信息的流通,后续对要用拼接而不是求和时,可以提到densenet

    6)多级特征融合时,要在卷积层之前执行BN-RELU,否则多个层级输出时就执行BN,会导致特征的尺度不一致

    7)Bottlenect layer比较清晰的解说,3x3卷积之前利用1x1卷积减少特征图通道数的操作称之为Bottleneck layer

    8)常见且广泛应用的数据增强方式——镜像+平移

    9)常规的数据集划分

    10) DenseNet的训练极其消耗存储空间,因为保留大量的计算图,用于反向传播计算

    11)模型不能进一步提升性能,无法拉开与浅层模型的差异,不一定是模型设计问题,有可能是数据集太小,不足以体现模型的能力。 数据和模型之间都要适配

    12)当绝对变化量较小时,可考虑相对变化量(写论文时用)

    13)DenseNet主要与ResNet对比,因此超参未进行改动,就能超越ResNet,若针对性的修改超参,可进一步提高DenseNet的精度

    14) 3x3 conv pooling仅在头部
       5:代码实现(选做题):在cifar-10上训练一个DenseNet-40或者DenseNet-100,将训练曲线,混淆矩阵图等信息贴出来分享

  • 相关阅读:
    DP大作战—状态压缩dp
    DP大作战—组合背包
    DP大作战——多重背包
    单链表的使用——计算多项式加法
    单链表逆置
    钢条切割问题
    哈夫曼树及解码
    双“11”的抉择
    矩阵链相乘助教版代码
    abs()函数的返回值问题
  • 原文地址:https://www.cnblogs.com/sariel-sakura/p/13736565.html
Copyright © 2011-2022 走看看