提升方法

提升方法通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。

一. 提升方法的基本思路

大多数提升方法都是改变训练训练数据的概率分布（训练数据的权值分布），针对不同的训练数据分布调用弱学习算法学习一系列弱分类器。

1. 在每一轮是如何改变训练数据的权值或概率分布的呢？

AdaBoost的做法是，提高那些被前一轮弱分类器错误分类样本的权值，而降低那些被正确分类样本的权值。

2. 如何将弱分类器组合成一个强分类器

AdaBoost采取的是加权多数表决的方法，增大分类误差率小的弱分类器的权值，使其在表决中起较大的作用，减小分类误差率大的弱分类器的权值，使其在表决中起较小的作用。