生成对抗网络（GAN）的18个绝妙应用

https://juejin.im/post/5d3fb44e6fb9a06b2e3ccd4e

生成对抗网络（GAN）是生成模型的一种神经网络架构。

生成模型指在现存样本的基础上，使用模型来生成新案例，比如，基于现存的照片集生成一组与其相似却有细微差异的新照片。

GAN是使用两个神经网络模型训练而成的一种生成模型。其中一个称为“生成器”或“生成网络”模型，可学习生成新的可用案例。另一个称为“判别器”或“判别网络”，可学习判别生成的案例与实际案例。

两种模型（从博弈论的意义上来说）处于一种竞争状态，生成器企图愚弄判别器，而判别器则要同时处理生成案例和实际案例。

经学习，生成模型可生成所需的新案例。

生成对抗网络具有极为具体的使用案例，一开始这些案例理解起来会有些困难。

本文将回顾大量GAN的有趣应用，有助于你了解其能够解决的案例类型。以下列表或许并不完整，但其中包含了许多媒体介绍过的GAN使用案例。

应用案例可划分为以下18种类型：

1. 生成图像数据集案例

2014年，Ian Goodfellow等人发表论文《对抗式生成网络》，提出了生成新案例这一应用。文中指出，GAN可为MNIST手写数码数据集、CIFAR-10小件图片数据集、多伦多人像数据集生成新案例。

论文传送门：https://arxiv.org/abs/1406.2661

GAN可为图像数据集生成新案例。图片来自《生成对抗网络》。

2015年，Alec Radford等人在一篇重要论文《使用深度回旋生成对抗网络进行无监督表示学习》，也表达了类似观点。论文指出，深度回旋生成对抗网络展示了大规模培养稳定GAN的方法。论文展示了生成卧室新案例的模型。

论文传送门：https://arxiv.org/abs/1511.06434

GAN根据图像数据集生成的卧室新案例。图片来自《生成对抗网络》。

同时，论文展示了GAN（在潜在空间中）运行向量运算的能力，只需输入生成的卧室案例和人像案例即可。

GAN进行向量运算的案例。图片来自《使用深度回旋生成对抗网络进行无监督表示学习》。

2. 生成人脸照片

Tero Karras等人在2017年发表的论文《GAN质量、稳定性及变化性的提高》展示了生成人脸照片的案例，照片十分逼真。因此，论文引起了媒体的广泛关注。生成照片时以名人的脸作为输入，导致生成的案例具有名人的脸部特征，让人感觉很熟悉，却并不认识。

论文传送门：https://arxiv.org/abs/1710.10196

GAN生成人脸照片的案例。图片来自《GAN质量、稳定性及变化性的提高》。

该方法同样用于生成物品和场景案例。

GAN生成物品和场景的案例。图片来自《GAN质量、稳定性及变化性的提高》。

2018年发表的报告《人工智能的恶意使用：预测、预防及抑制》选用的也是以上案例，显示了2014至2017年GAN的快速发展。

论文传送门：https://arxiv.org/abs/1802.07228

2014至2017年GAN的快速发展。图片来自《人工智能的恶意使用：预测、预防及抑制》。

3. 生成现实照片

Andrew Brock等人在2018年发表了题为《用于高保真自然图像合成的GAN规模化训练》的论文。论文展现了用BigGAN技术生成合成照片的案例。案例照片几乎与真实照片无异。

论文传送门：https://arxiv.org/abs/1809.11096

用BigGAN技术生成合成照片的案例。图片来自《用于高保真自然图像合成的GAN规模化训练》。

4. 生成动画角色

金杨华（音译）等人于2017年发表了题为《用GAN生成动画角色》的论文。论文展示了如何训练及应用GAN来生成动画头像（如日本动漫人物）。

论文传送门：https://arxiv.org/abs/1708.05509

GAN生成动画人脸的案例。图片来自《用GAN生成动画人物》。

受动画角色案例的启发，一些人试图利用GAN生成Pokemon这样的角色，比如pokeGAN项目和使用深度回旋GAN生成Pokemon项目。但目前成效甚微。

GAN生成口袋妖怪角色案例。图片来自pokeGAN项目。

5. 图像转换

GAN在这方面几乎无所不能，因为相关论文显示GAN可以执行许多图像转换任务。

Phillip Isola等人于2016年发表题为《使用GAN技术进行图像转换》的论文。论文特别介绍了如何使用GAN的pix2pix技术进行图像转换。

论文传送门：https://arxiv.org/abs/1611.07004

以下是一些图像转换案例：

· 将语义图像转化成城市和建筑景观图片

· 将卫星图像转化成谷歌地图

· 将白天景观转化成夜晚景观

· 将黑白图片转化成彩色图片

· 将素描转化成彩色图片

使用pix2pix技术进行图片日夜转换的案例。图片来自《使用GAN技术进行图像转换》。

使用pix2pix技术将素描转化成彩色图片。图片来自《使用GAN技术进行图片转化》。

朱俊彦等人于2017年发表题为《使用一致循环生成网络进行非配对图像转换》的论文。论文介绍了著名的CycleGAN技术以及大量图片转化的案例。

论文传送门：https://arxiv.org/abs/1703.10593

以下是一些图像转换案例：

· 将图片转化成艺术绘画风格

· 将马的图片转化成斑马图

· 将夏景转化成冬景

· 将卫星图转化成谷歌地图

使用CycleGAN技术进行图片转化的四个案例。图片来自《使用一致循环生成网络进行非配对图片转化》。

论文还介绍了其它案例，如：

· 将画作转化成图片

· 将素描转化成图片

· 将苹果图转化成橙子图

· 将照片转化成艺术画作

使用CycleGAN技术将画作转化成照片的案例。图片来自《使用一致循环生成网络进行非配对图片转化》。

6. 文字-图片转化

Han Zhang等人于2016年发表题为《StackGAN：使用堆叠GAN技术进行文字-图片转化及合成》的论文。论文特别介绍了如何运用StackGAN将对于简单物体（如花鸟）的文字描述转化为现实图片。

论文传送门：https://arxiv.org/abs/1612.03242

将鸟类文本描述转化成现实图片的案例。图片来自《StackGAN：使用堆叠GAN技术进行文字转图片转化及合成》。

Scott Reed等人于2016年发表了题为《使用GAN技术合成图像》的论文。论文介绍了把对花、鸟等物体的文本描述转化为图像的案例。

论文传送门：https://arxiv.org/abs/1605.05396

将花鸟文本描述转化成现实图片的案例。图片来自《使用GAN技术合成图片》。

Ayushmen Dash等人于2017年发表了题为《TAC-GAN——受文本限制的辅助分类器GAN》的论文。文中介绍了几近相同的数据集案例。

论文传送门：https://arxiv.org/abs/1703.06412

Scott Reed等人于2016年发表了题为《学习绘画内容和地点》的论文。论文对GAN的此功能作了进一步介绍，并运用GAN完成文图转化，以及运用包围盒和关键点推测描绘物体（如一只鸟）的位置。

论文传送门：https://arxiv.org/abs/1610.02454

文图转化的案例及GAN提供的位置信息。图片来自《学习绘画内容和地点》。

7. 语义图像-图片转化

Ting-Chun Wang等人于2017年发表了题为《使用条件性GAN进行高清图片合成及语义操纵》的论文。文中介绍了使用条件性GAN根据语义图像或素描生成现实图片的方法。

论文传送门：https://arxiv.org/abs/1711.11585

语义图像及GAN生成城市景观照片的案例。图片来自《使用条件性GAN合成高保真图片及语义操纵》。

具体案例如下：

· 根据语义图像合成城市景观图片

· 根据语义图像合成卧室图片

· 根据语义图像合成人脸图片

· 根据素描合成人脸图片

论文同时介绍了一种可操纵所生成图片的互动编辑器。

8. 生成正面人像图片

Rui Huang等人于2017年发表了题为《人脸转正：全球及地方GAN感知合成拟真正面人像图片》的论文。文中介绍了使用GAN根据特定角度的人脸生成正面人像图片（如脸朝前）的方法。此类技术可应用于人脸验证或辨认系统。

使用GAN生成正面人像的案例。图片来自《人脸转正：使用全球及地方GAN感知合成拟真正面人像图片》。

9. 生成新体态

Liqian Ma等人于2017年发表了题为《人体体态图像生成》的论文。文中介绍了生成人体模型新体态的案例。

论文传送门：https://arxiv.org/abs/1705.09368

人体模型新体态的案例。图片来自《人体体态图像生成》。

10. 图片转表情

Yaniv Taigman等人于2016年发表了《无监督跨领域图像生成》一文介绍了使用GAN跨领域转化图像的方法。比如，将街区数字转化为MNIST手写数码，或将名人照片转化为emoji或动画表情。

论文传送门：https://arxiv.org/abs/1611.02200

将名人照片转化为emoji表情的案例。图片来自《无监督跨领域图像生成》。

11. 图片编辑

Guim Perarnau等人于2016年发表了题为《使用可逆条件性GAN编辑图片》的论文。文中特别介绍了使用GAN的IcGAN技术根据特定的面部特征如发色、发型、表情甚至性别变化来重建人像图片的方法，比如：

使用IcGAN技术编辑人脸图片的案例。图片来自《使用可逆条件性GAN编辑图片》。

论文传送门：https://arxiv.org/abs/1611.06355

Ming-Yu Liu等人于2016年发表了题为《耦合性GAN》的论文。文中同样介绍了如何利用发色、表情和眼镜等特征生成面部图片。论文同时也展示了其他图像的生成，如有颜色和深度变化的场景图片。

论文传送门：https://arxiv.org/abs/1606.07536

使用GAN生成有或无金发的人像图片案例。图片来自《耦合性GAN》。

Andrew Brock等人于2016年发表了题为《使用IAN进行神经图片编辑》的论文。文中介绍了一种运用多种变化性自动编码器及GAN的面部照片编辑器。此种编辑器可以快速对人脸特征进行修改，包括修改发色、发型、表情、体态，以及增补面部胡须。

论文传送门：https://arxiv.org/abs/1609.07093

基于VAE和GAN使用神经图片编辑器修改面部特征的案例。图片来自《使用IAN进行神经图片编辑》。

He Zhang等人于2017年发表了题为《使用条件性GAN消除图片中的雨》的论文。文中介绍了如何使用GAN编辑图片，比如消除图片中的雨雪。

论文传送门：https://arxiv.org/abs/1701.05957

使用GAN消除图片中的雨的案例。图片来自《使用条件性GAN消除图片中的雨》。

12. 面部老化

Grigory Antipov等人于2017年发表了题为《使用条件性GAN进行面部老化处理》的论文。文中介绍了使用GAN生成不同年龄段人脸图片的方法。

论文传送门：https://ieeexplore.ieee.org/document/8296650

使用GAN生成不同年龄段的人脸图片的案例。图片来自《使用条件性GAN进行面部老化》。

Zhifei Zhang等人于2017年发表了题为《使用条件性对抗自动编码器增龄/减龄》的论文。文中介绍了使用GAN对面部图片进行减龄处理的方法。

论文传送门：https://arxiv.org/abs/1702.08423

使用GAN对面部图片进行减龄处理的案例。图片来自《使用条件性对抗自动编码器增龄/减龄》。

13. 图片混合

Huikai Wu等人于2017年发表了题为《GP-GAN：关于现实高保真照片的混合》的论文。文中展示了GAN在混合照片，尤其是混合田野、大山及其大型物体照片中的应用。

论文传送门：https://arxiv.org/abs/1703.07195

使用GAN混合图片的案例。图片来自《GP-GAN：关于现实高保真照片的混合》。

14. 超分辨率

Christian Ledig等人于2016年发表了题为《使用GAN生成单幅高分辨率图像》的论文。文中特别展示了GAN的SRGAN模型在生成具有超高分辨率图像中的应用。

论文传送门：https://arxiv.org/abs/1609.04802

使用GAN生成超高分辨率图片的案例。图片来自《使用GAN生成高分辨率现实单图》。

Huang Bin等人于2017年发表了题为《使用条件性GAN生成具有高质量、超高分辨率的面部图像》的论文。文中特别展示了GAN在构建不同版本人脸图像中的应用。

论文传送门：https://arxiv.org/abs/1707.00737

生成高分辨率人脸图像的案例。图片来自《使用条件性GAN生成高质量超高分辨率面部图像》。

Subeesh Vasu等人于2018年发表了题为《使用强化超高分辨率感知网络分析扭曲认知的折中参数》的论文。文中展示了一个使用GAN构建街景高分辨率图片的案例。

论文传送门：https://arxiv.org/abs/1811.00344

使用GAN生成高分辨率建筑图片的案例。图片来自于《使用强化超高分辨率感知网络分析扭曲认知的哲衷参数》。

15. 图片修复

Deepak Pathak等人于2016年发表了题为《文本编码器：通过图片修复学习特征》的论文。论文特别介绍了如何使用GAN的文本编码器进行图片修复或填充空缺，即填补图片中某块缺失的部分。

论文传送门：https://arxiv.org/abs/1604.07379

使用文本编码器修复图片的案例。图片来自《文本编码器：通过图片修复学习特征》。

Raymond A. Ye等人于2016年发表了题为《使用深度生成模型修复语义图像》的论文。文中介绍了如何用GAN对故意损坏的人脸图像进行填充和修复。

论文传送门：https://arxiv.org/abs/1607.07539

使用GAN修复人脸图像的案例。图片来自《使用深度生成模型修复语义图像》。

Yijun Li等人于2017年发表了题为《人脸图像生成性填充》的论文。文中同样介绍了如何使用GAN对损坏的人脸图像进行修复和重建。

论文传送门：https://arxiv.org/abs/1704.05838

使用GAN重建人脸图像的案例。图片来自《人脸图像生成性填充》。

16. 服装转化

Donggeun Yoo等人于2016年发表了题为《像素级领域转化》的论文。论文展示了如何根据身着服装的模特照片，运用GAN生成类似服装图集或线上服装店的服装图片。

论文传送门：https://arxiv.org/abs/1603.07442

输入图片及使用GAN生成服装图片的案例。图片来自《像素级领域转化》。

17. 视频预测

Carl Vondrick等人于2016年发表了题为《生成场景动态视频》的论文。文中介绍了如何使用GAN进行视频预测，尤其是连续预测最长可至一秒的视频帧，聚焦于场景中的静态因素。

论文传送门：https://arxiv.org/abs/1609.02612

使用GAN生成视频帧的案例。图片来自《生成场景动态视频》。

18. 3D打印

吴佳俊等人于2016年发表了题为《通过3D生成对抗模型学习物体形状的可能潜在空间》的论文。论文展示了如何使用GAN生成物体的3D模型，比如桌椅、汽车和沙发。

论文传送门：https://arxiv.org/abs/1610.07584

使用GAN生成3D模型的案例。图片来自《通过3D生成对抗模型学习物体形状的可能潜在空间》。

Matheus Gadelha等人于2016年发表了题为《由2D物体视图推导3D形状》的论文。文中介绍了如何使用GAN根据多种视角的2D物体图像生成3D模型。

论文传送门：https://arxiv.org/abs/1612.05872

由2D椅子视图重建其3D模型的案例。图片来自由《2D物体视图推导3D形状》。