- 训练误差：在训练集上的表现
- 泛化误差：在任意一个数据样本上表现的误差
- 计算误差：损失函数
- 在机器学习中，假设每个样本都是独立同分布与整体的，于是它训练误差期望 = 泛化误差
- 一般情况下：由训练数据集学到的训练参数 使得 模型在训练数据集上的表现优于或等于 测试数据集上的表现
- 模型选择：可以选择完全不同的网络模型，也可以是不同的超参数（例如：多层感知机的隐藏层个数等等）
- 验证数据集：在实际应用中，验证数据集与测试数据集界限模糊
- K折交叉验证：训练数据太少了，于是将所有样本分为k份，做k次模型训练，每次选择不同的一份做测试集，其他做训练集，loss取平均
- 欠拟合：模型无法得到较低的训练误差
- 过拟合：训练误差远低于它在测试数据上的误差
- 欠拟合，过拟合的原因很多，其中最重要的是：模型复杂度，训练集大小（当样本数过少，过拟合更容易发生）