机器学习知识总结---4、可以把训练好的网络看做识别器或者特征提取器（很常用）
一、总结
一句话总结：
可以在已经训练好的神经网络后面接一个神经网络或者接一个svm
1、ReLU激活函数最明显的优势是什么？
快速收敛，因为ReLU(x)=max(0,x)，这样每次可以有很多神经元不激活
2、卷积神经网络中的平均池化和最大池化 在线性操作方面的区别？
取最大值是非线性操作，求平均值是线性操作
3、卷积神经网络 的dropout的过程的实质是什么？
可以看做是训练一大堆神经网络，然后求均值
随机丢弃（Dropout）。为了避免系统参数更新过快导致过拟合，每次利用训练样本更新参数时候，随机的“丢弃”一定比例的神经元，
被丢弃的神经元将不参加训练过程，输入和输出该神经元的权重系数也不做更新。这样每次训练时，训练的网络架构都不一样，而这些不同的网络架构却分享共同的权重系数。
实验表明，随机丢弃技术减缓了网络收敛速度，也以大概率避免了过拟合的发生。
4、图片识别增加训练样本的方式？
比如图片翻转，比如截取图片部分（将256×256的图像随机选取224×224的片段作为输入图像），这样可以大幅提升样本数量
增加训练样本。尽管lmageNet的训练样本数量有超过120万幅图片，但相对于6亿待估计参数来说，训练图像仍然不够。
Alex等人采用了多种方法增加训练样本，包括：
1.将原图水平翻转；
2.将256×256的图像随机选取224×224的片段作为输入图像。
运用上面两种方法的组合可以将一幅图像变为2048幅图像。
还可以对每幅图片引入一定的噪声，构成新的图像。
这样做可以较大规模增加训练样本，避免由于训练样本不够造成的性能损失
5、卷积神经网络应用？
做人脸识别，图片种类识别等
6、迁移学习做水果识别的例子？
1、直接用AlexNet的卷积神经网络，然后用几千张水果图片做微调即可
2、比如识别身份证，之前训练的数据是外国人的人脸，我们可以用亚洲人的人脸做微调，再用身份证图片做微调
7、卷积神经网络中的平均池化和最大池化的区别？
平均池化取平均值，最大池化取最大值
二、内容在总结中
博客对应课程的视频位置：