一、名词解析
1. 损失函数和风险函数
损失函数（loss function）是度量模型一次预测的好坏，风险函数度量平均意义下模型预测好坏。
期望风险是模型关于联合分布的期望损失，经验风险是模型关于训练样本集的平均损失。根据大数定理，当样本容量N趋于无穷大时，经验风险Remp趋于期望风险Rexp。当用经验风险去预测期望风险时，要对经验风险进行一定的矫正，经常使用的是监督学习的经验风险最小化、结构风险最小化。两种方法。
2. 泛化能力：学习方法对未知数据的预测能力称为泛化能力generalization ability。