zoukankan      html  css  js  c++  java
  • 『论文笔记』CARAFE: Content-Aware ReAssembly of FEatures

    对上采样的优化:动态的选取新像素对哪些原有像素存在依赖

    Large field of view. Unlike previous works (e.g. bilinear interpolation) that only exploit subpixel neighborhood, CARAFE can aggregate contextual information within a large receptive field.

    Content-aware handling. Instead of using a fixed kernel for all samples (e.g. deconvolution), CARAFE enables instance-specific content-aware handling, which generates adaptive kernels on-the-fly.

    上采样的两个主要用处:

    1、密集预测任务输出尺寸匹配原图

    2、不同尺度特征融合

    相关上采样算法:

    最近邻算法

    双线性插值

    反卷积

    Pixel Shuffle

    kernel prediction module 

    channel compressor: the channel compressor reduces the channel of the input feature map.

    content encoder: the content encoder then takes the compressed feature map as input and encodes the content to generate reassembly kernels. 

    kernel normalizer: lastly, the kernel normalizer applies a softmax function to each reassembly kernel. 

    content encoder部分的卷积为了平衡计算量和感受野,设置为kup-2。

    相比之下,Content-aware Reassembly Module就简单很多,对每个上采样像素对应的原图位置领域进行加权:

     和DCN对比:

     两者都考虑到了几何信息,相对DCN本文更快,对初始值更不敏感

    两者不同点还是挺大的,DCN分支1会预测分支2每个卷积核的偏移,分支2的卷积参数仍然要靠分支2去学习,这里分支1直接预测分支2的卷积参数了,分支2看起来本身没有需要学习的参数(卷积权重由待学习参数变成了网络预测中间结果了)。

    怎么体现自适应:网络推理过程在不同图片上是不一样的,对DCN而言体现在卷积权重的位移,对本文则直接体现在了卷积权重本身的值上。

  • 相关阅读:
    inndb 刷脏页
    mysql 创建索引
    mysql 索引异常:
    mysql change buffer
    mysql 事务
    mysql 全局锁和表锁
    mysql 索引优化
    mysql innoDB使用b+树作为索引
    mysql 中redo log bin log
    mysql 隔离级别
  • 原文地址:https://www.cnblogs.com/hellcat/p/14828481.html
Copyright © 2011-2022 走看看