1、提出了一种利用正交随机噪声矩阵对WCT的过程进行修改的方法,从而能够让风格迁移更具有多样性
方法
-
核心思想是在加入正交噪声矩阵丰富多样性的基础上,保证WCT过程中style纹理,也就是Gram矩阵不变。也就是说即使用正交噪声矩阵扰动前后feature map和原先不同了,但是Gram Matrix(style 纹理)不变。
Gram Matrix计算: -
这个噪声扰动的方法能够保证style图的Gram Matrix和扰动后的图的Gram Matrix完全相同,即上面的计算结果为0. -
原始的WCT计算公式如下:
-
加入扰动正交噪声矩阵Z:
证明加入扰动正交噪声矩阵Z之后还是和style图一样的style纹理(相同的Gram Matrix)
实验以及消融分析
-
作者发现只直接采用扰动后的结果进行输出,会对内容结构有很大的破坏,风格化的结果并不好,所以加入了两个权重平衡这个影响(分别为diversity 超参数 和 stylization 超参数),但是对于colosed-form方法影响很小(WCT以及MST影响都很大),推测可能是由于其考虑了内容架构的损失也最优。
-
多层级的扰动,结果会糟糕;单层级的扰动而言,扰动的层级越低,最后结果越糟糕,质量越低。所以多层级的扰动没有必要
-
扰动噪声矩阵的采样的分布类型(正态或者均匀分布)以及其相关参数对结果影响不大,但是采用随机噪声矩阵而不采用正交噪声矩阵对结果影响很大,随机噪声的话结果很差,会淹没内容架构。
-
扰动矩阵Z可以放在多个位置,放在中间时计算量最小,因为其对应的矩阵维度最小。
-
过大的diversity超参数会让内容架构很大程度破坏,这时就需要较小的stylization超参数来均衡了,才能保证一个不错的风格化结果。
-
通过正交噪声矩阵的插入确实能够增加风格化的多样性