1.简介
统计学习方法都是由模型、策略和算法构成的
2.模型
在监督学习过程中，模型就是所要学习的条件概率分布或决策函数。
模型的假设空间包含所有可能的条件概率分布或决策函数。
2.1 决策函数模型
2.2 条件概率
决策函数表示的模型为非概率模型，由条件概率表示的模型为概率模型
3 学习策略
考虑的是按照什么样的准则学习或选择最优的模型。
3.1 损失函数
损失函数度量模型一次预测的好坏
3.1.1 0-1损失函数
3.1.2 平方损失函数
3.1.3 绝对损失函数
3.1.4 对数损失函数
3.2 风险函数
风险函数度量平均意义下模型预测的好坏。
3.2.1 风险函数（期望损失）：损失函数的期望
3.2.2 经验风险（经验损失）：
3.2.3 总结
期望风险
是模型关于联合分布的期望损失，经验风险
是模型关于训练样本集的平均损失。
3.3 经验风险最小化与结构风险最小化
3.3.1 经验风险最小化
经验风险最小化(empirical risk minimization ERM)的策I咯认为，经验风险最小的模型是最优的模型。
3.3.2 结构风险最小化
结构风险最小化(structural risk minimization，SRM)是为了防止过拟合而提出来的策略。结构风险最小化等价于正则化(regularization) 结构风险在经验风险上加上表示模型复杂度的正则化项(regularizes)或罚项(penalty term )。
结构风险定义
结构风险最小化策略
4 算法
算法是指学习模型的具体计算方法。
随机梯度下降