Defect-GAN: High-Fidelity Defect Synthesis for Automated Defect Inspection~WACV2021
单位：
一、下载
paper:
https://openaccess.thecvf.com/content/WACV2021/papers/Zhang_Defect-GAN_High-Fidelity_Defect_Synthesis_for_Automated_Defect_Inspection_WACV_2021_paper.pdf
code:
二、文章解读
思路：
缺陷检测实验中，基于学习的缺陷检测算法，受困于缺陷样本少。
缺陷样本为什么少呢？
原因一：实际生产时间中，真实产生的缺陷样本少，缺陷类型不确定（谁也不知道下一个缺陷样品展示的缺陷类型）。
原因二：图像PS的方法制作缺陷样本图像，难以cover所有未知的缺陷，且需要昂贵的人力、财力。
原因三：人为破坏样品，获得缺陷样本，进而获得缺陷样本图像用于算法研究。得到的缺陷多样性不足，且代价较大。
论文的想法：
提出一个网络，依赖正常样本图像，生成各种各样的缺陷图像。混合正常样本和缺陷样本，训练分类网络，实现缺陷检测的目的。
采用生成的方式获得缺陷图像，多样性得到了满足，且花费的代价比较小。
论文的做法：
采用的生成器Generation结构：
网络结构中的重点部件作用：
1、两个Encoder-Decoder是权值共享的。
2、Adaptive Noise Insertion为了使得生成的缺陷多样化，更好模拟真实缺陷。（注：缺陷制造部分这样做可以理解，缺陷修复这样做就理解不了了。修复过程又不知道Noise应该长啥样子。如果和缺陷制造过程的一致，那我随意拿一个真实场景的缺陷样本，不就不能做 修复吗）
3、Spatial & Categorical Control Map是控制生成的缺陷位于Normal Sample什么位置，缺陷是什么类型的。
4、Layer-Wise Composition 保证Defect图和Normal图有相同的风格和外观。
5、实际的训练过程中，训练了two cycles。一个是上图的Normal-Defect-Normal，一个是下图的Defect-Normal-Defect结构。
采用的判别器Discrimination结构：
采用和StarGAN相同的判别器结构。
缺陷样本和正常样本的分类：Resnet和Desnet
论文的实验：
实验数据集：
CODEBRIM：混凝土桥梁缺陷检测，包含crack, spallation, efflorescence, exposed bars, corrosion and normal samples共6个类别。
数据集下载：https://doi.org/10.5281/zenodo.2620293（论文提供的，没有尝试下载）
Defect-GAN的输入：128*128 image patch。Adam，Discriminator更新5次，Generator更新1次。
Batch size=4,learning rate=0.0002~0.000001，NVIDIA 2080ti,训练迭代500，000次
论文的结论：
1、FID越低，生成的缺陷样本越真实。论文方法和其它方法比较：
2、FID越低，生成的缺陷样本越真实。论文方法的消容实验：
3、缺陷检测的准确率，越高越好。
