动机：
目标：想要获得一个实时的模型，且尽可能的准确。
我们有一个大模型性能很好，但是很慢：
我们有个小模型速度很快，但是性能很差：
动机：面临的挑战
1、由于容量和能力，小模型很难达到一个很好的性能。
2、精确度和模型压缩之间的差距还是很大
3、物体检测比分类要困难得多：
a、 标签的计算更加昂贵
b、 类别不均衡
c、多任务同时需要分类和回归
4、直接应用蒸馏在检测模型上并不能很好的工作。
背景，前人的工作：
1、 大网络的加速
a、减少通道的数量 （训练前）
b、剪枝 （训练后）
c、low rank decomposition （低秩分解见下图）
HWS：高宽通道数。D越小越快，D越大总结信息能力越强。 resnet bottlenek 也是同样的道理，FC层也可以分解
压缩一个模型的步骤：
常用的张量分解方式是：Tucker 分解。将4维张量分解为4个小张量
还可以用SVD分解，就要将四位tensor转变成2维的向量，比如（D*D*R1, R2）2 、 进行SVD分解 3、 恢复成D*D的卷积核 和 1*1 的卷积核
2、 提高小网络的性能：
a、设计新的结构(squeeze Net, Binary connection)
b、知识蒸馏
知识蒸馏：
利用已经训练好的模型
用压缩之前的模型作为老师，压缩之后的模型作为学生。
如何模仿呢？
Hints的方法是，老师的分类标签当成人为设定的标签来用。
当然，有人也探索过别的方法，不用标签用标签的前一层，去模仿老师的神经元，而不是模仿标签。
传统标签是one hot。 老师给出的标签只给出概率值。
qi: 是老师给出的每一类的可能性，Zi 是老师预测最终一层的神经元。第i类神经元的指数处以所有神经元的指数
T ：温度软化神经元。不会跟人工给的标签一模一样。放大老师的标签，含有丰富的信息量。
为什么要放大呢？
因为老师的标签中可能含有人工标签没有的信息。image中的汽车预测正确的概率是90%，预测成卡车的概率10%，汽车卡车相似性要远高于汽车和人。但是传统标签中汽车预测称人和汽车预测成卡车的概率都是0
但是老师会捕捉到这一点，可以学到人类没有给出但是确实成立的信息。
基于目标检测的模型蒸馏（景驰）：
挑战？ 1 分类问题+回归问题
2 在大规模数据集上证明其有效性
1、 成功的应用了知识蒸馏对于多类别物体检测问题
2、 提出了新的LOSS函数对于物体检测任务
3 、 在不同的dataset上验证了方法
4、 分析了只是蒸馏的方法在什么条件下是管用的，为什么管用，且解决了神经网络训练中的哪些问题
模型：
1、目标检测使用的比较传统的fastrcnn，wo stage：
a、 随机产生框，不同比例和大小，先用一个网络判断是否有物体，选择很可能物体的框，（RPN网络）
b、 再把框放回一个分类网络中 解决是什么物体的问题（rcnn 区域分类网络）
在分类的过程中每个框由两部分：1、是否是背景还是有物体，车 还是交通灯？
2、调整大小和位置
2、在知识蒸馏中，分类和回归都要作为学生学习的目标，不仅仅要学习标签，还让学生网络去学习中间层的一些信息，被证明是很有效的。
例如：下图中上面非常长的是teacher网路，蓝色的是标签
学生网络：
一方面要学生把老师的输出去学习
另一方面学生的中间层（下图第一块紫色）去尽量模仿老师的某一层。
模仿标签时候，是把老师的标签和学生标签放到一起，接入到一个目标函数，计算反向传播
在模仿中间层的时候并不是直接接目标函数，而是中间加了一个适应层，通过这个适应层使得学生和老师的神经元进行匹配
原因呢？
1、老师和学生尽管有联系，但并不是一一对应的。例如：学生网络比较浅，同一层的神经元看到的区域比较小，老师的一个神经元看到的区域比较大，比较深，直接去匹配是不合适的。
需要进行一些领域的迁移，方便学到有用的信息。
2、卷积网络分卷积层和全连接层。卷积层是一一对应，全连接层是顺序打乱的。
学生和老师每一层里面的神经元，统计上携带的信息可以相比，但是顺序未必是一一对应的，所以要+1层，使其顺序对应。
目标函数：
详细来看呢？ Lhard 表示的是：从人工给的标签中学习
Lso'f't 表示的是：从老师给的标签中学习
Lsoft使用的是类似交叉熵，但是给每一类加了不同的权重。是因为目标检测问题和分类问题是不同的：负类远多于正类
回归问题：
不能使用交叉熵，甚至于不能直接使用老师给出的标签。
例如：对于分类问题某个框 70%的概率是一张脸，只盖住了脸的70% 其余是背景
但是对于回归问题：老师给出的是：往右挪10cm才能盖住脸，人给的标签显然是更精准的，老师给的最精准的也无非是挪10cm刚好盖住脸
因此把老师给的当作标签是不合理的。
怎么利用老师给的信息呢？
可以把它当成一个下届来用。比如：当学生预测的比老师还要远的时候，老师预测 老师和人工给的目标更近 ，这个学生做得很差，加倍改正错误
如果学生做的比老师好，就不需要额外的结构学习更多的东西了
所以在这里用了一种把老师的信息当作下届来使用。
学习中间神经元的目标函数：
L2 loss 距离的平方来做的，通过适应层以后，让学生神经元模仿老师神经元的输出。
分析是否知识蒸馏只对特定的老师和学生有用？
比如说：压缩网络得到一个学生，学生参数和老师理应相同，如果是完全不同的网络结构，就不合理了呢？
还有，假设学生和老师的输入是一致的，得到一致的输出,如果不一致呢？
学生在压缩到多少的时候方法管用，压缩的范围是？
工作的流程是：
1，训练一个比较好的网络，来当作老师
2，压缩网络，用SVD或者tucker分解 来压缩
3，最好用imagenet 预训练一个浅层的学生网络
4，用比较深的网络引导学生的训练
下图是将方法，加在不同的学生老师 和不同的数据集上的结果：
最左边是用的经典学生网络：ALEX 7层 VGG是用到最复杂的结构 VGGM 是 VGG16的简化版
Tucker ，是前面提到用tucker分解 压缩alexnet得到的网络结构
第二列是：对于一个学生用不同的老师
可以看到，随着老师越来越好，学生能提高到的精确性也越来越好，例如：Tucker 如果使用VGG16作为引导可以将pascal数据集上精度提升到54.7到59.4 4.7个点
这个数值和老师的70.4 还是有差距，毕竟很深，容量大太多了
有意思的是PASCAL和KITTI都是小数据集，几千到1W
COCO 和ILSVRC 几万到十几万
可以看到，在小数据集上提升很大，在大数据集上提升小，某些情况下还挺大。说明了容量其实是有极限的，知识蒸馏可以帮助召回一些精度，但是很难和复杂网络相媲美
之前提到了很多知识蒸馏的策略，比如：
1、对交叉熵进行加权
2、对于回归问题作为一个上届
3、网络中加一个适应层，去匹配老师的神经元和学生的神经元
下图说明了这些操作有没有效果，现在小数据集上进行测试，再投放大数据集
第一列是baseline：
第二列是在回归任务中，直接让学生模仿老师，会损害精度，是不如人工给的标签精确的
第三列是把老师作为上届之后提升不少。
后面是是否给分类权重
在后面是去模仿老师神经元的时候，要不要加适应层。
合到一起把之前所有的方法，可以得到最好的精度
下图是：模型大小和精度之间的关系：
就是蒸馏的极限在哪里？
压缩网络的极限在哪里？什么压缩比，速度和精确性更好的均衡。
所以使用的Tucker
FLOPS 代表的是运算量，FLOPS 20%代表 保留20%的运算量
随着压缩比的提升，实际上知识蒸馏随着压缩比的提高，效果是增加的，比如压缩比在25%的时候，效果提升了+6.1 ，45是只提升+4.3
但是模型容量太小，也不行，只能进行有限的提升
学生和老师的输入是相同，模仿行为是合理的
但是学生和老师输入不相同呢？
都用alexnet 老师看高分辨率的 学生看低分辨率的。毕竟改变大小是提升速度最有效的办法。
可以看到不管是用alexnet作为老师和学生还是压缩过的模型作为老师和学生都有提高
分析一下背后的原理：
为什么知识蒸馏对学生网络会有提升呢？
1、 老师会通过很深的网络学到人类并没有给出但是确实存在的信息。比如：车和卡车更像，和8更像
但是学生网络不能总结出这些信息，让老师交给他，跟容易分类它能力之外的情况
所以它的泛化能力也会相应变强
标签学习为什么会起作用？（知识蒸馏）
知识蒸馏是把网络的输出当成一个标签来用，给出暗藏的信息
但是为什么模仿神经元也是有效的呢？
神经元很难说携带什么信息，每一个卷积对图像不同的位置是有特定的反应的。比如，有些对人脸，有些对电视机
通过模仿神经元的行为，就可以感知到老师是怎么看待这张图像的。
学生网络太浅了，是欠拟合的，训练数据都不能分对，老师欠拟合程度会少一些。
所以：模仿神经元可以帮助学生解决欠拟合的问题，得到更多的信息绕过局部最小和鞍点。
总结一下：
为什么知识蒸馏有用的时候，提到了老师会提供隐含的信息，人类没有给的信息，学生有了这个这个信息以后拟合人类标签的程度是会降低的，解决过拟合问题
模仿神经元解决的是欠拟合的问题。
推测：
如果网络面临是过拟合问题，越教他，在训练集上的表现会越差，至少不会改进
如果欠拟合的问题，对训练集的拟合程度是加深的，也就是说会更加贴合到人类给的标签上去。
但是在实际训练过程中，比如目标检测问题可能同时存在过拟合和欠拟合问题，因为目标检测既要分对前景背景 和 是人是狗，这俩问题同时存在。
所以就做了相应的测试来验证：
知识蒸馏会提升测试的准确性，但是训练的准确性不一定提升。
隐藏神经元学习两个都会提升
得出的结论和预测是一致的：
下图看到在一大一小两个数据集上，知识蒸馏提升了测试的效果，没有提升训练的效果，或者提升很小
模拟神经元会同步的提升
之前提到了过拟合的问题，过拟合解决办法是dropout，用我们的方法（知识蒸馏）和dropout进行对比，下面的绿线是没有知识蒸馏的，也不用模拟神经元，可以看到dropout对他的影响还挺大的，目标检测的最佳比例是0.15. 图像分类最佳是0.5
上面的蓝线是，用了知识蒸馏调节dropout。
可以看到，在不用知识蒸馏和隐藏学习的情况下dropput 影响挺大的，相差了将近0.7.但是用了知识蒸馏相差在0.1，0.2以内，可以下结论说知识蒸馏确实起到了防止过拟合的作用。
但是更严重的欠拟合，模拟神经元有没有提升精度呢？ 更快的更精确的拟合人类给的标签
补充：压缩模型的方法，还有很多其他方法，还有很流行的mobilnet和shufflenet。
知识蒸馏和模型压缩是互补的，为了在压缩之后提升精度，这是在不改变任何网络结构的情况下的免费提升
论文的题目：
FAQ： NEC公司决定 代码无法开源
适应层： 并不一定是1*1的卷积层 conv 或者 deconv 比较灵活的层 ，按照 FM size而定，让T和S的神经元数量相匹配
RPN 的标签，分类 ：二分类 回归： 框 的回归
RPN 和 RCN的区别是 ：一个2分类，一个N+1分类
L2的位置经验：
不要用太浅的层即可
蒸馏网络的温度，使用与出了softmax的其他分类和回归吗？ 回归不能直接学老师的
T 二分类问题尽量不要用，应为没有很多隐藏的空间
YOLO也可以在顶层进行蒸馏的，1.2-1.6 如果只对顶层的蒸馏，高度抽象的信息，目标检测有很严重的欠拟合，不一定只对顶层做蒸馏。