zoukankan      html  css  js  c++  java
  • 3-D Quasi-Recurrent Neural Network for Hyperspectral Image Denoising

    1. 摘要

    作者设计了一个 QRU3D 块来对高光谱图像进行去噪,其中的 3D 卷积负责提取空间和光谱的结构相关性,而近似循环池化函数则用来捕获光谱方向的全局相关性。

    此外,作者还引入了交替方向结构,以消除单向的因果关系,并且无需额外的计算成本。

    2. 方法介绍

    2.1. QRU3D

    QRU3D 块的结构如上图所示,包含两个主要步骤:3D 卷积和近似循环池化。其中输入 (I) 的大小 (1*H*W*B)(H,W,B)分别为高光谱图像的长宽和波段数。

    第一步我们分别应用两个 3D 卷积到输入图像,激活函数分别为 (Tanh)(Sigmoid),得到 (Z,F) 两个特征图,大小都为 (C_{out}*H*W*B)

    然后,我们将 (Z,F) 沿着光谱方向分离出 (B)(z_b, f_b),那么输出特征图就可以表示为:

    输出特征图 (H) 的每个波段 (h_b) 都由上一个波段的特征 (h_{b-1}) 以及 (z_b) 加权组成,而权重则由(f_b) 提供。

    2.2. 交替方向结构

    在一个前向的 QRU3D 单元中,输出特征图 (h_b) 只与前面波段的特征 (z_b) 相关,而与后面波段的特征无关,这显然是不合理的。

    一个很自然的想法就是引入双向结构,一层从前向后循环,一层从后向前循环,然后再将两者相加,如上图 (b) 所示,但这样会使得计算代价和内存消耗近似翻倍。

    因此,作者提出了一个交替方向结构,如上图 (c) 所示。也就是每个 QRU3D 单元中的循环顺序交替改变,如果上一层是从前向后循环,下一层则是从后向前循环。这样,既没有额外的计算代价,也能在任何位置都可以捕获整个波段的依赖性。

    2.3. 整体网络结构

    整体的网络结构则以 QRU3D 块为基础,采取 U-Net 的基本骨架,空间分辨率先变小再逐渐恢复到输入大小,并在分辨率相同的地方引入跳跃连接。详细的每一层的参数设置则如下表所示。

    3. 实验结果

    可以看到,作者提出的方法不仅在去噪效果上超越了现有方法,运行时间也是最快的。

    获取更多精彩,请关注「seniusen」!

  • 相关阅读:
    职业生涯系列
    自我进修系列
    每周问题系列
    职业生涯系列
    软件测试专用名词
    Java系列 – 用Java8新特性进行Java开发太爽了(续)
    Java系列
    EJB系列
    EJB系列
    EJB系列
  • 原文地址:https://www.cnblogs.com/seniusen/p/12743226.html
Copyright © 2011-2022 走看看