第九讲_图像生成 Image Captioning
-
生成式对抗网络 Generative Adversarial network
-
学习数据分布:概率密度函数估计+数据样本生成
-
生成式模型是共生关系,判别式模型是因果关系
-
GAN在生成模型的位置
-
GAN特点
GAN
- 无监督网络框架
- 生成器generator and 判别器 discriminator
- 先学习判别器,然后固定判别器,优化生成器
生成器网络
- 生成样本数据
判别器网络
-
样本有真实采样数据+生成器生成的样本数据
-
EM优化是同方向优化,GAN最大最小优化
优化目标
- 价值函数
- 判别器价值函数最大化,生成器价值函数最小化;相反方向优化,对抗形式
- 纳什均衡点
- D(x)->1,D(G(x))->0,判别器的希望的;D(G(x))->1,生成器希望的
代价函数
- 改动最多的是G代价函数
- 三种游戏代价函数对比
- 生成器就是让判别器判别为真;需要的梯度回传是要学习判别为假的部分数据
训练算法
-
训练
-
问题和挑战
-
优化控制,很难达到纳什均衡
DCGAN图片生成
- 生成器
- 4个转置卷积
- 重要的使用批归一化
- 生成效果:仅支持低分辨率图片,无法捕捉物体结构
- Z向量的计算特征,插值特性
语义描述-->图片生成
- caption to image
超分辨Super-Resolution
- 模型
- 两种代价函数
- 生成器的权重初始化,使用预训练的;训练才能成功
- 捕捉人类视觉感知代价-SRGAN
语义分割semantic segmentation
- 在原来的分割网络添加对抗生成器
- 添加对抗损失函数
- 降低模型过拟合
SRGAN代码实现
- https://github.com/349zzjau/ChinaHadoop_C9
- 使用mnist数据集
- sugartensor库