zoukankan      html  css  js  c++  java
  • STF-GAN:Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform (CVPR2018)

    创新点:

    1. 使用语义映射(semantic maps 来指导SR域中不同区域的纹理恢复

    2. 利用概率图( probability maps )来捕捉精细的纹理区别而不是简单的图像片段(simple image segments)

    Related work:

    使用感知损失和对抗损失生成的图像极大程度上增强了重建图像的感知质量,但生成的纹理单调且不自然

    Method:

    1. 类别先验(Psi) ,由语义分割概率图表示:

    (Psi=P(P_0,P_1,...,P_k,...P_K)).

    (P_k)--属于第k类的概率,(K)--所有的类别数

    2. 引入类别先验后,问题转化为:

    (hat{y}=G_ heta(x|Psi))

    3. 一对转换参数 ((gamma,eta)),函数 (M: Psimapsto(gamma,eta))

     (hat{y}=G_ heta(x|gamma,eta))

    ((gamma,eta)=M(Psi))

    【注意】 (M)可以是任意的方程,在这里(M)采用的是卷积神经网络

    4. 通过缩放和移动特定图层的特征图来执行转换:

    (SFT(F|gamma,eta)=gammaigodot F+eta)

    结构:

    采用GAN

    1. 使用16个 residual blocks

    2. skip connection : 用于简化深度CNN的训练

    3. 后面的unsample 采用 最近邻域插值

    4. 对抗网络 D 采用 VGG-style

    损失函数:

    1. 感知损失:使用预训练的VGG-19网络

    2. 对抗损失:

    -------------------------------------------------------------------------------------------------------------------------------------------

    摘要:

    modulate features of a few intermediate layers in a single network conditioned on semantic segmentation probability maps. 

    在语义分割概率图的条件下调制单个网络中的几个中间层的特征。

    Spatial Feature Transform (SFT) layer

    advantges:

    1. It is parameter-efficient. Reconstruction of an HR image with rich semantic regions can be achieved with just a single forward pass through transforming the intermediate features of a single network. 它具有参数效率。 通过转换单个网络的中间特征,只需一次正向传递就可以实现具有丰富语义区域的HR图像的重建。

    2. SFT layers can be easily introduced to existing SR network structures.可移植性强

    3. It is extensible. While we considercategorical prior in our study, other priors such as depth maps can also be applied
    using the proposed SFT layer. 可拓展性

  • 相关阅读:
    MVC4 @helper辅助方法
    Razor的主版页面框架
    Razor与HTML混合输出陷阱与技巧
    MVC4 razor与aspx的区别以及用法
    loj6100 「2017 山东二轮集训 Day1」第一题
    loj6087 毒瘤题
    「6月雅礼集训 2017 Day2」C
    「6月雅礼集训 2017 Day2」B
    「6月雅礼集训 2017 Day2」A
    「6月雅礼集训 2017 Day1」看无可看
  • 原文地址:https://www.cnblogs.com/btschang/p/9774234.html
Copyright © 2011-2022 走看看