一、说在前面
今天主要了解了一下深度学习的背景和相关浅层的知识。深度学习的应用领域和相关的问题,老师为我们进行了介绍,算是一个开始深度学习的概括总览了。
二、笔记
深度学习
1、深度学习的发展
图像识别
语音识别
玩游戏
深度学习获得发展的原因
![](https://img2020.cnblogs.com/blog/1718812/202102/1718812-20210203164244406-198438336.png)
2、深度学习的核心思想
感知机
多层感知机
多个神经元以全连接层次相连,这种网络称为前馈神经网络
MPL困境
目标函数通常为非凸函数,极容易陷入局部最优值,网络层数增多后,梯度消失或梯度爆炸问题
机器学习VS深度学习
特征的重要性
机器学习:需要人工选区特征
深度学习:自动学习有用特征
非线性函数逼近
![](https://img2020.cnblogs.com/blog/1718812/202102/1718812-20210203164627463-1678590043.png)
3、典型的网络结构
卷积神经网络(VGG/GoogleNet/AlexNet/ResNet)
适合处理网格型数据
在计算机视觉领域获得巨大成功:物体识别,图片分类,2维网格
全连接网络并不适用于图像
像素大:参数爆炸
图像大小:1000*1000,第一层复杂度O(1,000,000)
CNN:卷积
稀疏连接,参数共享,等变表示
CNN:池化
对于局部转换不敏感,在局部节点进行操作,降采样
CNN完整结构
卷积层堆叠+全连接层
LeNet5
AlexNet
数据增强
通过水平翻转、随机裁剪、平移变换和颜色光照变换得到更多训练集
Dropout
创新的防止过度拟合方法:按照一定概率将神经元暂时从网络中丢弃
ReLU激活函数
不容易发生梯度爆炸问题,求解简单
Local Response Normalization
利用临近的数据做归一化
![](https://img2020.cnblogs.com/blog/1718812/202102/1718812-20210203164155090-1733059012.png)
VGG
![](https://img2020.cnblogs.com/blog/1718812/202102/1718812-20210203164218867-831422648.png)
GoogleLeNet
![](https://img2020.cnblogs.com/blog/1718812/202102/1718812-20210203164327903-1889799309.png)
ResNet
![](https://img2020.cnblogs.com/blog/1718812/202102/1718812-20210203164400533-838074716.png)
循环神经网络(RNN)
适合处理序列性的数据
![](https://img2020.cnblogs.com/blog/1718812/202102/1718812-20210203164518899-32521079.png)
自编码器(Autoencoder)
生成对抗网络(GAN)
![](https://img2020.cnblogs.com/blog/1718812/202102/1718812-20210203164428168-1029802165.png)
4、深度学习的行业应用
人脸识别
自然语言处理
目标检测
智能驾驶
辅助医疗
5、实践案例:使用卷积神经网络进行人脸识别