zoukankan      html  css  js  c++  java
  • 论文理解Diversified Arbitrary Style Transfer via Deep Feature Perturbation

    1、提出了一种利用正交随机噪声矩阵对WCT的过程进行修改的方法,从而能够让风格迁移更具有多样性

    方法

    • 核心思想是在加入正交噪声矩阵丰富多样性的基础上,保证WCT过程中style纹理,也就是Gram矩阵不变。也就是说即使用正交噪声矩阵扰动前后feature map和原先不同了,但是Gram Matrix(style 纹理)不变。
      Gram Matrix计算:
      在这里插入图片描述
      在这里插入图片描述

    • 在这里插入图片描述
      这个噪声扰动的方法能够保证style图的Gram Matrix和扰动后的图的Gram Matrix完全相同,即上面的计算结果为0.

    • 原始的WCT计算公式如下:
      在这里插入图片描述
      在这里插入图片描述

    • 加入扰动正交噪声矩阵Z:
      在这里插入图片描述
      证明加入扰动正交噪声矩阵Z之后还是和style图一样的style纹理(相同的Gram Matrix)
      在这里插入图片描述

    在这里插入图片描述

    实验以及消融分析

      • 作者发现只直接采用扰动后的结果进行输出,会对内容结构有很大的破坏,风格化的结果并不好,所以加入了两个权重平衡这个影响(分别为diversity 超参数 和 stylization 超参数),但是对于colosed-form方法影响很小(WCT以及MST影响都很大),推测可能是由于其考虑了内容架构的损失也最优。
        在这里插入图片描述
        在这里插入图片描述

      • 多层级的扰动,结果会糟糕;单层级的扰动而言,扰动的层级越低,最后结果越糟糕,质量越低。所以多层级的扰动没有必要
        在这里插入图片描述

      • 扰动噪声矩阵的采样的分布类型(正态或者均匀分布)以及其相关参数对结果影响不大,但是采用随机噪声矩阵而不采用正交噪声矩阵对结果影响很大,随机噪声的话结果很差,会淹没内容架构。

      • 扰动矩阵Z可以放在多个位置,放在中间时计算量最小,因为其对应的矩阵维度最小。

      • 过大的diversity超参数会让内容架构很大程度破坏,这时就需要较小的stylization超参数来均衡了,才能保证一个不错的风格化结果。

      • 通过正交噪声矩阵的插入确实能够增加风格化的多样性
        在这里插入图片描述

  • 相关阅读:
    UVA
    codevs3196 黄金宝藏
    UVA
    UVA
    3424:Candies(差分约束,Dijkstra)(配对堆优化
    1062:昂贵的聘礼(最短路/枚举)
    01分数规划问题(二分法与Dinkelbach算法)
    Desert King(01分数规划问题)(最优斜率生成树)
    Enlarge GCD(素数筛)
    hdu2085-2086
  • 原文地址:https://www.cnblogs.com/h694879357/p/13379938.html
Copyright © 2011-2022 走看看