zoukankan      html  css  js  c++  java
  • Joint Face Completion and Super-resolution using Multi-scale Feature Relation Learning

    我的结论(仅仅代表个人观点)

    * 2020年2月的论文

    * 论文没有公开代码(20200525),网络计算量,无法确定。

    * 分辨率不高,16*16 or 32*32/--------------128*128

    * 适用于正脸,不适用于侧脸

    * 恢复出来的遮挡区域,依旧模糊

    * 关键点,图卷积 and FPN结构

    1、题目

    《Joint Face Completion and Super-resolution using Multi-scale Feature Relation Learning》

    作者:

    2、创新点

     3、网络框架

     4、loss函数

     

     

     在论文的实验中,参数是

     5、实验

    AA、实验数据集

    a、CelebA数据集:

    数据:10177图,202599个脸

    划分:162770训练,19867验证,19962测试。

    b、Helen数据集:

    数据:2330个脸

    划分:2000训练,300测试。

    CelebA数据集,进行模型的训练、测试和验证。Helen数据集,交叉验证,对模型进行进一步的评估。

    BB、实验细节

    * Adam优化算法,学习率10.^(-4),kernel size=3, batch size=24

    * CeleA数据对齐到144*144大小,然后随机裁剪得到128*128图像。

    * Helen采用MTCNN检测人脸特征点,做5点对齐,然后resize脸到128*128*3。

    a、the multitask experiments(又要做遮挡,又要做超分辨率)

    做了两个实验:

    * 4倍下采样,实验SRFC*4

       bicubic interpolation method,resize128*128图像,到32*32,随机加入一个binary mask,32*32图中binary mask大小是8*8

    * 8倍下采样,实验SRFC*8

       bicubic interpolation method,resize128*128图像,到16*16,随机加入一个binary mask,16*16图中binary mask大小是4*4

    b、the face completion experiments(做遮挡)

     

    给128*128图像,加入一个binary mask,binary mask大小是32*32

    c、the face super-resolution experiments(做遮挡)

     

    八倍下采样,bicubic interpolation method,resize128*128图像,到16*16

    CC、结果评价指标

     

    用眼睛看,or用数据说话。

     6、实验结果

    a、the multitask experiments

     

    b、the face completion experiments

     

    论文给出的结论是:

     

    (仅仅代表个人观点)But,通过图,观察不到这个结论啊。

    遮挡面积越小,固定不动的区域越多,观察整个图的视觉效果好,是因为不动区域多引起的,并不是说遮挡区域的恢复能力变好了啊。

    把遮挡区域单拿出来看,遮挡部位得到的恢复,都一样的模糊。

    c、the face super-resolution experiments

     

     d、Others

    M1:含有FPN

    M2:含有图卷积

    M3:含有IGCN和FPN

    ******************************************************************

    没有FPN结构,效果不好

    采用传统的卷积而不采用图卷积,效果不好

     

     **************************

     

     **************************************

     ************************************************

  • 相关阅读:
    Cesium案例解析(二)——ImageryLayers影像图层
    Cesium案例解析(一)——HelloWorld
    WebGL简易教程(十四):阴影
    WebGL简易教程(十三):帧缓存对象(离屏渲染)
    关于GDAL读写Shp乱码的问题总结
    WebGL简易教程(十二):包围球与投影
    GDAL集成对KML文件的支持
    WebGL简易教程(十一):纹理
    WebGL简易教程(十):光照
    WebGL简易教程(九):综合实例:地形的绘制
  • 原文地址:https://www.cnblogs.com/wjjcjj/p/12956578.html
Copyright © 2011-2022 走看看