- 平均法:对弱分类器的结果进行加权平均,常应用于回归预测模型
- 投票法:一般应用于分类模型
- 学习法:通过另一个学习器来进行结合,把个体学习器称为初学习器,用于结合的学习器称为次级学习器或元xuexiqi
(1)Stacking方法:先从初级数据集训练出初级学习器,然和“生成”一个新数据集用于训练次级学习器。在这个新的数据集中,初级学习器的输出当作样例
作为输入特征。初始样本的标记仍然作为新的样例标记。
stacking 一般使用交叉验证的方式,初始训练集D,被划分为训练集和测试集,其中训练集被随机划分为k个大小相似的集合,然后用K-1部分训练T个模型,对另一个部分产生T个预测值作为特征,遍历每一折后,也就得到新的特征集合,注意:在完成K折交叉验证之后,得到预测值为a1, a2, a3,...还需要对整个数据的测试集进行K次预测,即为b1, b2, b3...用新的特征集合训练一个集合模型。在完成整个步骤之后,将a1, a2, a3,...拼凑起来,形成一个矩阵,记为A1, 而对于b1, b2, b3,...这部分数据,将各部分相加取平均值,即为B1
(2)Blending方法:区别stacking方法在于训练集不是通过K折策略,而是建立一个Holdout集,,例如10%的训练数据,第二阶段的stacker模型就基于第一阶段对这10%训练数据的预测值进行拟合
参考:
https://blog.csdn.net/u014248127/article/details/78993753