zoukankan      html  css  js  c++  java
  • 『论文笔记』CARAFE: Content-Aware ReAssembly of FEatures

    对上采样的优化:动态的选取新像素对哪些原有像素存在依赖

    Large field of view. Unlike previous works (e.g. bilinear interpolation) that only exploit subpixel neighborhood, CARAFE can aggregate contextual information within a large receptive field.

    Content-aware handling. Instead of using a fixed kernel for all samples (e.g. deconvolution), CARAFE enables instance-specific content-aware handling, which generates adaptive kernels on-the-fly.

    上采样的两个主要用处:

    1、密集预测任务输出尺寸匹配原图

    2、不同尺度特征融合

    相关上采样算法:

    最近邻算法

    双线性插值

    反卷积

    Pixel Shuffle

    kernel prediction module 

    channel compressor: the channel compressor reduces the channel of the input feature map.

    content encoder: the content encoder then takes the compressed feature map as input and encodes the content to generate reassembly kernels. 

    kernel normalizer: lastly, the kernel normalizer applies a softmax function to each reassembly kernel. 

    content encoder部分的卷积为了平衡计算量和感受野,设置为kup-2。

    相比之下,Content-aware Reassembly Module就简单很多,对每个上采样像素对应的原图位置领域进行加权:

     和DCN对比:

     两者都考虑到了几何信息,相对DCN本文更快,对初始值更不敏感

    两者不同点还是挺大的,DCN分支1会预测分支2每个卷积核的偏移,分支2的卷积参数仍然要靠分支2去学习,这里分支1直接预测分支2的卷积参数了,分支2看起来本身没有需要学习的参数(卷积权重由待学习参数变成了网络预测中间结果了)。

    怎么体现自适应:网络推理过程在不同图片上是不一样的,对DCN而言体现在卷积权重的位移,对本文则直接体现在了卷积权重本身的值上。

  • 相关阅读:
    【Networking】(转)一个非常好的epoll+线程池服务器Demo
    【算法】Logistic regression (逻辑回归) 概述
    【Linux】/dev/null 2>&1 详解
    单点登录与联合登录
    web项目报outmemory错误解决方案
    hadoop学习之HDFS
    ELK日志分析系统
    基于cookie共享的SSO中的遇到的问题
    oracle的隐式游标
    mysql截取字符串与reverse函数
  • 原文地址:https://www.cnblogs.com/hellcat/p/14828481.html
Copyright © 2011-2022 走看看