03深度学习的数学基础

玻尔兹曼机的理论和实际意义

自编码器

正则自编码器、稀疏自编码器、去噪自编码器、变分自编码器

数学基础

概率论、线性代数、最优化、信息论

概率是基础，支持向量机涉及很多数学基础，梯度下降是神经网络的共同基础

机器学习三要素：

机器学习目的获得小的泛化误差

1.训练误差小 2.训练误差与泛化误差足够接近

策略设计：

奥卡姆剃刀原理

如无必要，勿增实体 —— 简单有效原理

欠拟合vs过拟合

Beyond深度学习

因果推断

相关性vs因果性

群体智能

验证码：师夷长技以制夷

图像标注游戏

图像分割游戏