zoukankan      html  css  js  c++  java
  • 『论文笔记』CARAFE: Content-Aware ReAssembly of FEatures

    对上采样的优化:动态的选取新像素对哪些原有像素存在依赖

    Large field of view. Unlike previous works (e.g. bilinear interpolation) that only exploit subpixel neighborhood, CARAFE can aggregate contextual information within a large receptive field.

    Content-aware handling. Instead of using a fixed kernel for all samples (e.g. deconvolution), CARAFE enables instance-specific content-aware handling, which generates adaptive kernels on-the-fly.

    上采样的两个主要用处:

    1、密集预测任务输出尺寸匹配原图

    2、不同尺度特征融合

    相关上采样算法:

    最近邻算法

    双线性插值

    反卷积

    Pixel Shuffle

    kernel prediction module 

    channel compressor: the channel compressor reduces the channel of the input feature map.

    content encoder: the content encoder then takes the compressed feature map as input and encodes the content to generate reassembly kernels. 

    kernel normalizer: lastly, the kernel normalizer applies a softmax function to each reassembly kernel. 

    content encoder部分的卷积为了平衡计算量和感受野,设置为kup-2。

    相比之下,Content-aware Reassembly Module就简单很多,对每个上采样像素对应的原图位置领域进行加权:

     和DCN对比:

     两者都考虑到了几何信息,相对DCN本文更快,对初始值更不敏感

    两者不同点还是挺大的,DCN分支1会预测分支2每个卷积核的偏移,分支2的卷积参数仍然要靠分支2去学习,这里分支1直接预测分支2的卷积参数了,分支2看起来本身没有需要学习的参数(卷积权重由待学习参数变成了网络预测中间结果了)。

    怎么体现自适应:网络推理过程在不同图片上是不一样的,对DCN而言体现在卷积权重的位移,对本文则直接体现在了卷积权重本身的值上。

  • 相关阅读:
    记录一次linux centos7被hack的填坑记录-20201015
    linux端口转发:分为本机端口转发和将本机端口转发到其他机器 这2种情况
    proxmox通过spice来连接
    PAT L3-015. 球队“食物链”
    蓝桥杯模拟一 封印之门
    蓝桥杯模拟一 数列求值
    第13届景驰-埃森哲杯广东工业大学ACM程序设计大赛 K 密码
    计蒜客 蓝桥杯模拟五 合并数字
    PAT L3-017. 森森快递
    PAT L1-046. 整除光棍
  • 原文地址:https://www.cnblogs.com/hellcat/p/14828481.html
Copyright © 2011-2022 走看看