zoukankan      html  css  js  c++  java
  • 【CVPR2020】Multi-Scale Progressive Fusion Network for Single Image Deraining

    论文:https://arxiv.org/abs/2003.10985

    代码:https://github.com/kuihua/MSPFN

    论文指出当前图像去雨方法的问题是:their single-scale frameworks can hardly capture the inherent correlations of rain streaks across scales. 同时,作者用一个图来说明 collaborative representations of reain streaks. 图中白色框中的雨条,与同尺度的多处雨条外观相似,同时,与1/2尺寸图像中多处的雨条外观也相似,因此,得出一个结论:rain streaks both from the same scale and acroos different scales encode the complementary or redundant information for feature representation, which would help deraining in the orginal image.

    为解决这个问题,作者提出了 multi-scale progressive fusion network (MSPFN) ,框架如下图所示。首先将图像使下采样到1/2和1/4的尺度,然后使用一次卷积得到 initial features,然后依次进行 coarse fusion,fine fusion,rain streak reconstruction 处理,得到图像中的雨图。

    coarse fusion module:设计了并行的 residual recurrent units (RRU),结构如下图所示。这样的设计主要为了达到如下目的:1)Conv-LSTM 可以获取全局的纹理信息(capture the complementary or redundant rain information)。2)多尺度结构可以增大感受野。3)高分辨率的表达可以从之前的阶段受益。

    multi-scale fine fusion: 在这个除段引入 了 channel attention unit 来实现 discriminative learning enahncement through focusing on the most informative scale-specific knowledge, making the cooperative representation more efficient. 为了降低复杂度,采用了 U-shape 的结构,如下图所示。

    reain streak reconstruction: 上个阶段的结果进行卷积,最后融合。

    损失函数包括两部分:重建损失 (L_{con})以及保边损失(L_{edge})。这部分比较简单,可以参考作者的论文。

  • 相关阅读:
    【PAT甲级】1128 N Queens Puzzle (20分)
    Codeforces Global Round 7D(马拉车/PAM,回文串)
    【PAT甲级】1127 ZigZagging on a Tree (30分)(已知中序后序蛇形输出层次遍历)
    SDOI2012 体育课
    APIO2018 Circle selection 选圆圈
    [科技] 求数列的前k次方和
    APIO2016 Fireworks
    CTSC2018 暴力写挂
    ZJOI2018 胖
    SDOI2017 数字表格
  • 原文地址:https://www.cnblogs.com/gaopursuit/p/14329935.html
Copyright © 2011-2022 走看看