玻尔兹曼机的理论和实际意义
自编码器
正则自编码器、稀疏自编码器、去噪自编码器、变分自编码器
![03 - 深度学习的数学基础[00-17-17][20201024-22230449]](https://img2020.cnblogs.com/blog/1859480/202010/1859480-20201024222347173-2079752045.jpg)
数学基础
概率论、线性代数、最优化、信息论
![03 - 深度学习的数学基础[00-37-45][20201024-234435329]](https://img2020.cnblogs.com/blog/1859480/202010/1859480-20201024234444341-800361941.jpg)
![03 - 深度学习的数学基础[00-39-26][20201024-234743342]](https://img2020.cnblogs.com/blog/1859480/202010/1859480-20201024234749592-1893825637.jpg)
![03 - 深度学习的数学基础[00-40-57][20201024-234858688]](https://img2020.cnblogs.com/blog/1859480/202010/1859480-20201024234904391-2077240648.jpg)
概率是基础，支持向量机涉及很多数学基础，梯度下降是神经网络的共同基础
机器学习三要素：
![03 - 深度学习的数学基础[00-43-19][20201024-235055446]](https://img2020.cnblogs.com/blog/1859480/202010/1859480-20201024235100968-1978939787.jpg)
![03 - 深度学习的数学基础[00-48-47][20201025-141634831]](https://img2020.cnblogs.com/blog/1859480/202010/1859480-20201025141640326-253613794.jpg)
![03 - 深度学习的数学基础[01-10-51][20201025-14410403]](https://img2020.cnblogs.com/blog/1859480/202010/1859480-20201025144109271-1630157323.jpg)
机器学习目的获得小的泛化误差
1.训练误差小 2.训练误差与泛化误差足够接近
策略设计：
奥卡姆剃刀原理
如无必要，勿增实体 —— 简单有效原理
欠拟合vs过拟合
![03 - 深度学习的数学基础[01-24-05][20201025-152804317]](https://img2020.cnblogs.com/blog/1859480/202010/1859480-20201025152811643-1917163036.jpg)
![03 - 深度学习的数学基础[01-36-56][20201025-154245735]](https://img2020.cnblogs.com/blog/1859480/202010/1859480-20201025154250751-952824799.jpg)
Beyond深度学习
因果推断
相关性vs因果性
![03 - 深度学习的数学基础[01-42-16][20201025-160938203]](https://img2020.cnblogs.com/blog/1859480/202010/1859480-20201025160952933-618681511.jpg)
群体智能
验证码：师夷长技以制夷
图像标注游戏
图像分割游戏