https://www.bilibili.com/video/av94519857?p=1
1. 课程介绍
分类、回归、生成
监督、无监督、强化学习
可解释AI、对抗攻击、网络压缩
异常检测（知道自己不知道）
迁移学习（训练和测试的数据分布不同）
Meta Learning（学习如何学习， Learn to learn）
Life long learning，Continuous Learning
2. 课程规则和环境
3. Regression
为什么regularization项不考虑bias？
因为regularization是为了让模型拟合的函数更加平滑，而影响平滑的因素主要是weight，所以不需要考虑bias。
4. 基础概念，bias（偏差/均值）和variance（方差）
为什么简单模型的variance小？
简单模型受采样数据影响更小。
为什么复杂模型的bias小？
复杂模型的function space更大，更有可能找到接近target function的函数（数据越多越可能找到）。
underfitting，large bias，重新设计更复杂模型，增加features，增大function space；
overfitting，large variance，增加数据，增加正则项；
public testing set / private testing set
