zoukankan      html  css  js  c++  java
  • Joint Face Completion and Super-resolution using Multi-scale Feature Relation Learning

    我的结论(仅仅代表个人观点)

    * 2020年2月的论文

    * 论文没有公开代码(20200525),网络计算量,无法确定。

    * 分辨率不高,16*16 or 32*32/--------------128*128

    * 适用于正脸,不适用于侧脸

    * 恢复出来的遮挡区域,依旧模糊

    * 关键点,图卷积 and FPN结构

    1、题目

    《Joint Face Completion and Super-resolution using Multi-scale Feature Relation Learning》

    作者:

    2、创新点

     3、网络框架

     4、loss函数

     

     

     在论文的实验中,参数是

     5、实验

    AA、实验数据集

    a、CelebA数据集:

    数据:10177图,202599个脸

    划分:162770训练,19867验证,19962测试。

    b、Helen数据集:

    数据:2330个脸

    划分:2000训练,300测试。

    CelebA数据集,进行模型的训练、测试和验证。Helen数据集,交叉验证,对模型进行进一步的评估。

    BB、实验细节

    * Adam优化算法,学习率10.^(-4),kernel size=3, batch size=24

    * CeleA数据对齐到144*144大小,然后随机裁剪得到128*128图像。

    * Helen采用MTCNN检测人脸特征点,做5点对齐,然后resize脸到128*128*3。

    a、the multitask experiments(又要做遮挡,又要做超分辨率)

    做了两个实验:

    * 4倍下采样,实验SRFC*4

       bicubic interpolation method,resize128*128图像,到32*32,随机加入一个binary mask,32*32图中binary mask大小是8*8

    * 8倍下采样,实验SRFC*8

       bicubic interpolation method,resize128*128图像,到16*16,随机加入一个binary mask,16*16图中binary mask大小是4*4

    b、the face completion experiments(做遮挡)

     

    给128*128图像,加入一个binary mask,binary mask大小是32*32

    c、the face super-resolution experiments(做遮挡)

     

    八倍下采样,bicubic interpolation method,resize128*128图像,到16*16

    CC、结果评价指标

     

    用眼睛看,or用数据说话。

     6、实验结果

    a、the multitask experiments

     

    b、the face completion experiments

     

    论文给出的结论是:

     

    (仅仅代表个人观点)But,通过图,观察不到这个结论啊。

    遮挡面积越小,固定不动的区域越多,观察整个图的视觉效果好,是因为不动区域多引起的,并不是说遮挡区域的恢复能力变好了啊。

    把遮挡区域单拿出来看,遮挡部位得到的恢复,都一样的模糊。

    c、the face super-resolution experiments

     

     d、Others

    M1:含有FPN

    M2:含有图卷积

    M3:含有IGCN和FPN

    ******************************************************************

    没有FPN结构,效果不好

    采用传统的卷积而不采用图卷积,效果不好

     

     **************************

     

     **************************************

     ************************************************

  • 相关阅读:
    jquery select取值,赋值操作
    数据库性能监测工具
    Redis集群搭建与简单使用
    Docker安装指南
    yum常用操作
    centos6.8 安装Python2.7后, yum出现“No module named yum”错误
    Docker使用阿里云docker镜像加速
    高并发缓存架构
    mysql主从复制-方案1
    redis队列操作
  • 原文地址:https://www.cnblogs.com/wjjcjj/p/12956578.html
Copyright © 2011-2022 走看看