统计学习方法（一）——统计学习方法概论

一、统计学习

1、 实现的步骤

• 1)    得到一个有限的训练数据集合
• 2)    确定可能的假设学习空间，即学习模型的集合（例如决策树之类）
• 3)    确定模型选择的准则，即学习的策略
• 4)    实现求解最优模型的算法，即学习的算法
• 5)    通过学习算法选择最优模型
• 6)    利用最终模型进行预测与分析

2、 应用领域

人工智能、模型识别、数据挖掘、NLP、语音识别、图像识别、信息检索等

二、监督学习

 

三、学习算法三要素

1)    模型              2) 策略                           3)    算法

1、策略的介绍

   主要包括损失函数和风险函数，常用的有

四、正则化与交叉验证

    1、正则化实质就是结构风险的具体化（本人理解）

　　例如回归问题中正则化可以表示为

    2、 交叉验证

    1） 简单交叉

    70%的训练数据+30%的验证数据，利用验证数据挑选出测试误差最小的模型

    2） S交叉

　　随机将数据分成S个子集，利用S-1个子集训练最后一个测试，可产生S个不同的模型（参数），寻找测试误差最小的模型

五、生成模型与判别模型

　　生成模型的的步骤为俩步，第一步先由数据学习联合概率分布 ，再求出条件概率分布作为预测模型