对抗攻击概念：
通过对输入添加微小的扰动使得分类器分类错误，一般对用于深度学习的网络的攻击算法最为常见，应用场景包括目前大热的CV和NLP方向，例如，通过对图片添加精心准备的扰动噪声使得分类器分错，或者通过对一个句子中的某些词进行同义词替换使得情感分类错误。
对抗攻击分类：
关于攻击的分类有很多种，从攻击环境来说，可以分为黑盒攻击，白盒攻击或者灰盒攻击：
- 黑盒攻击：攻击者对攻击的模型的内部结构，训练参数，防御方法（如果加入了防御手段的话）等等一无所知，只能通过输出输出与模型进行交互。
- 白盒攻击：与黑盒模型相反，攻击者对模型一切都可以掌握。目前大多数攻击算法都是白盒攻击。
- 灰盒攻击：介于黑盒攻击和白盒攻击之间，仅仅了解模型的一部分。（例如仅仅拿到模型的输出概率，或者只知道模型结构，但不知道参数）
从攻击的目的来说，可以分为有目标攻击和无目标攻击： - 无目标攻击：以图片分类为例，攻击者只需要让目标模型对样本分类错误即可，但并不指定分类错成哪一类。
- 有目标攻击：攻击者指定某一类，使得目标模型不仅对样本分类错误并且需要错成指定的类别。从难度上来说，有目标攻击的实现要难于无目标攻击。
从扰动的强度大小来说，可以分为无穷范数攻击，二范数攻击和0范数攻击（下列公式中的x表示的是扰动大小）:
- 无穷范数攻击，当p趋近于无穷大时，上式子表示扰动中最大的一个，通常在论文里，对于MNIST数据集，限制是（-0.3，0.3）
- 二范数攻击，即p=2
- 0范数攻击（单像素攻击）此时限制的是可以改变的像素个数，不关心具体每个像素值改变了多少。在MNIST数据集中，一般限制是12个。
从攻击的实现来说来说，可以分为基于梯度的攻击，基于优化的攻击，基于决策面的攻击或者其他:
- 基于梯度的攻击： FGSM（Fast Gradient Sign Method) PGD(Project Gradient Descent) MIM(Momentum Iterative Method)
- 基于优化的攻击： CW(Carlini-Wagner Attack)
- 基于决策面的攻击： DEEPFOOL
- 其他：Pointwise
对抗攻击实现工具：
目前来说，比较主流的工具有cleverhans,foolbox,另外笔者还发现了一个advertorch,专门针对pytorch模型。
| cleverhans | foolbox | advertorch | |
| 针对模型框架 | tensorflow/keras/pytorch | pytorch/tensorflow | pytorch |
| 产生速度 | 可以批量 | 无法批量 | 可以批量 |
| 使用复杂度 | ♥♥♥♥♥ | ♥♥ | ♥♥ |
| 包含的攻击类别数 | ♥♥♥♥♥ | ♥♥♥♥♥ | ♥♥ |
（当然这个难易程度是笔者自己分的，见仁见智了~~~）