zoukankan      html  css  js  c++  java
  • 论文阅读笔记HighResolution Image Inpainting using MultiScale Neural Patch Synthesis

    论文题目:基于多尺度神经块合成的高分辨率图像修复

    用bounding box的问题:

    虽然边界框有助于定位实例位置和提取实例视觉特征,但它们也阻止了SimsG[6]实现更多功能,因为应提供场景图中所有节点的边界框。例如,如果一个人想添加一些东西,SIMSG[6]无法实现,因为不会提供添加的东西的边界框。此外,在SIMSG[6]的第二部分中,将使用边界框删除被操纵实例的特征。但是,一个实例的边界框通常包含其他不相关的信息,如background。因此,其他不相关信息的视觉特征也将被删除,并且很难重新绘制。换句话说,边界框级别的操作过于粗糙,无法实现高视觉质量

    一、contribution

    1) 我们提出了一种新的无边界盒方法,该方法自然生成被操纵的实例,同时最大程度地保留原始图像的瞬时无关信息。

    2)我们的方法是第一个实现全功能图像操纵的方法,包括重新移动、重新定位、替换和添加图像中的实例。它通过修改场景图来提高语义级图像处理的适应性

    3) 定量和定性实验Visual Genome and COCO-Stuff 数据集上都广泛进行。实验结果表明,该方法明显优于现有方法。

     二、method

    the method is composed of two parts:

    1)Local-BBox-Free Mask Generation, to synthesize masks M of instances that are modified (added, replaced, reposited, removed); 

    2)Global-BBox-Free Instance Generation, to generate instances conditioned on(以...为条件) the generated masks, and compose the instances with the residual(剩余的) image to render(渲染) the final manipulated image. 

    三、evaluation metric

    we evaluate reconstruction results using classic reconstruction metrics,including the mean absolute error (MAE), structural similarity index(SSIM) and perceptual error (LPIPS) . To further evaluate theimage quality in the feature-level, we adopt the FID metric 

    选择SIMSG(sota)作为竞争对手

  • 相关阅读:
    CSS3总结一:border(边框)
    浏览器控制台使用
    CSS3选择器
    jQuery实现搜索框插件+豆瓣音乐接口实现豆瓣搜索框
    服务器代理+jQuery.ajax实现图片瀑布流
    计算机网络之iframe内联框架跨域
    计算机网络之JSONP跨域
    程序集加载与反射(一):理论篇
    垃圾回收机制,是不是这样理解?
    异常处理机制
  • 原文地址:https://www.cnblogs.com/h694879357/p/15507696.html
Copyright © 2011-2022 走看看