zoukankan      html  css  js  c++  java
  • STF-GAN:Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform (CVPR2018)

    创新点:

    1. 使用语义映射(semantic maps 来指导SR域中不同区域的纹理恢复

    2. 利用概率图( probability maps )来捕捉精细的纹理区别而不是简单的图像片段(simple image segments)

    Related work:

    使用感知损失和对抗损失生成的图像极大程度上增强了重建图像的感知质量,但生成的纹理单调且不自然

    Method:

    1. 类别先验(Psi) ,由语义分割概率图表示:

    (Psi=P(P_0,P_1,...,P_k,...P_K)).

    (P_k)--属于第k类的概率,(K)--所有的类别数

    2. 引入类别先验后,问题转化为:

    (hat{y}=G_ heta(x|Psi))

    3. 一对转换参数 ((gamma,eta)),函数 (M: Psimapsto(gamma,eta))

     (hat{y}=G_ heta(x|gamma,eta))

    ((gamma,eta)=M(Psi))

    【注意】 (M)可以是任意的方程,在这里(M)采用的是卷积神经网络

    4. 通过缩放和移动特定图层的特征图来执行转换:

    (SFT(F|gamma,eta)=gammaigodot F+eta)

    结构:

    采用GAN

    1. 使用16个 residual blocks

    2. skip connection : 用于简化深度CNN的训练

    3. 后面的unsample 采用 最近邻域插值

    4. 对抗网络 D 采用 VGG-style

    损失函数:

    1. 感知损失:使用预训练的VGG-19网络

    2. 对抗损失:

    -------------------------------------------------------------------------------------------------------------------------------------------

    摘要:

    modulate features of a few intermediate layers in a single network conditioned on semantic segmentation probability maps. 

    在语义分割概率图的条件下调制单个网络中的几个中间层的特征。

    Spatial Feature Transform (SFT) layer

    advantges:

    1. It is parameter-efficient. Reconstruction of an HR image with rich semantic regions can be achieved with just a single forward pass through transforming the intermediate features of a single network. 它具有参数效率。 通过转换单个网络的中间特征,只需一次正向传递就可以实现具有丰富语义区域的HR图像的重建。

    2. SFT layers can be easily introduced to existing SR network structures.可移植性强

    3. It is extensible. While we considercategorical prior in our study, other priors such as depth maps can also be applied
    using the proposed SFT layer. 可拓展性

  • 相关阅读:
    python中不同文件中函数和类的调用
    python中使用queue实现约瑟夫环(约瑟夫问题)求解
    C语言中几个常用数学计算函数ceil(), floor(), round()的用法
    python中stack在实际中的简单应用之进制转换
    python中stack在实际中的简单应用之平衡符号
    python中两种栈实现方式的性能对比
    python实现stack并测试
    昨天的面试的一点思考
    从历代帝王的的创业经历看哪些人适合创业
    python chr()和ord()的含义和使用方法
  • 原文地址:https://www.cnblogs.com/btschang/p/9774234.html
Copyright © 2011-2022 走看看