zoukankan      html  css  js  c++  java
  • 【CVPR2021】Image super-resolution with non-local sparse attention

    论文:【CVPR2021】Image super-resolution with non-local sparse attention

    代码:https://github.com/HarukiYqM/Non-Local-Sparse-Attention

    对于超分辨率应用,non-local attention是非常流行的,因为它可以利用图像中的 self-similarity prior,因为一些小的 pattern 会在图像中重复出现。但是,直接应用 non-local 也会出现一些问题:

    • the receptive field of features in deeper layers tend to be global, thus the mutual-correlation computation among deep features are not accurate.

    • global non-local attention requires the computation of feature mutual-similarity among all the pixel locations. It results in quadratic computational cost with respect to image size.

    为了解决上面两个问题,作者提出了 non-local sparse attention (NLSA),主要贡献为:

    • NLSA module. The sparsity constraints forces the module to focus on correlated and informative area while ignoring unrelated and noisy contents.
    • Feature sparsity是通过特征分组,同时non-local只在组内进行(称为attention bucket)。同时,应用locality sensitive hashing算法给每组进行hash编码,因此显著降低了计算复杂度。

    作者提出的Attention Bucket 如下图所示。对于第一个图中的红点像素,普通的non-local要全局计算其它像素和它的相似性。该方法添加了sparsity constraint。通过稀疏性计算一组位置,称为 attention bucket,如第二个图所示。作者指出,中以施加一个距离约束,只取距离较近的点计算相似性,但这样做不能aggregate long-range context. 作者的做法是rank all mutual similarities and then use the top (k) entries. 但是,这样就需要首先计算当 query pixel 和所有点间的相似性,计算非常耗时。因此,作者利用了 locality sensitive hashing算法进行快速计算。


    NLSA模块如下图所示。Upper branch partitions the input features into buckets via LSH. The bottom branch computes attention after sorting the buckets by the hash code. 这样的结构结合了 non-local 的优点,也因为稀疏和哈稀保持了计算的高效性)。

    网格的整体架构如下图所示,是建立在EDSR算法之上的。包含32个残差块,应用了5个NLSA模块。

    实验部分可以参照论文,这里不再多介绍。

  • 相关阅读:
    Sublime Text 3下载安装以及安装HTML-CSS-JS Prettify代码格式化插件
    eclipse升级Android SDK Tool版本到25.2.5后运行项目报错Unable to build: the file dx.jar was not loaded from the SDK folder
    MySQL字符集与排序规则总结
    windows版mysql安装
    maven 引入qrcode.jar
    Java Web 项目目录规范
    JAVA WEB项目目录结构以及web应用部署的根目录,编译路径和项目根目录的区别
    java实现二维码的生成和解读
    <![CDATA[]]>和转义字符
    jvm参数调优
  • 原文地址:https://www.cnblogs.com/gaopursuit/p/15089189.html
Copyright © 2011-2022 走看看