第一周 深度学习的实用层面
1.1 训练、验证、测试集
应用机器学习是个高度迭代的过程：想法--->编码--->实验
（1）神经网络的层数
（2）隐含层神经元个数
（3）学习率
（4）激励函数
小规模数据：训练集70%，验证集30% 或者 训练60% 验证20% 测试20%
大规模数据：训练90%以上
注：可以没有测试集，验证集用于检测各种算法模型，选出最好的，验证集和测试集必须来源于同一分布
1.2 偏差、方差
人眼识别错误率（最优误差，贝叶斯误差）0%左右，训练集验证集来源于同一分布的前提下：
（1）训练集错误率1%，验证集错误率11% -----> 高方差（high variance）
（2）训练集错误率15%，验证集错误率16% ----->高偏差（high bias）
（3）训练集错误率15%，验证集错误率30% ------>高方差，高偏差
（4）训练集错误率0.5%，验证集错误率1% ------->低偏差，低方差
1.3 机器学习基础