zoukankan      html  css  js  c++  java
  • GAN_李弘毅讲解

    GAN_李弘毅讲解:

    上式中,xi从data中sample的一部分,现在的目的就是最大化这个似然函数,使得Generator最可能产生data中的这些sample;

    上式中之所以如此设计V函数,是为了后面与KL以及cross entropy结合起来;

    问题一:上图存在的一个问题:G迭代的过多造成G1下的D*得到的两种数据的分布差异更大了;

    使用优化在前期的话由于梯度较小,学习较慢,所以改为了下面那种形式;

    问题二:由于采用JSD距离,可以发现当data与G产生的数据没有重叠时,两者的距离始终为log2,当两者离得更近时依然如此,这样子当train的时候Loss不变就没有动力进行训练;下面有一种改善方法:

    如上所示:加入噪声,使得两个分布之间有overlap,使得可以产生JSD进行训练,同时保证Loss随着训练不断下降;

    问题三:G产生的数据与data之间形成了一种“猫捉老鼠“的游戏,下图是一种解决方式,暂时还没看懂;

    GAN的一些发展:

  • 相关阅读:
    Django多表操作
    Django单表操作
    Django模板语言的复用
    DTL
    Django视图层、虚拟环境
    Django路由详解
    初识Django
    web框架
    JQ初级
    linux的基础配置命令
  • 原文地址:https://www.cnblogs.com/zf-blog/p/10508847.html
Copyright © 2011-2022 走看看