adaboost原理

一般来说 adaboost算法包括三步：

1 初始化训练数据的权值，对于有N个样本的数据集，所有样本的初始权值都是1/N

2 训练弱分类器，将前一个弱分类器错误分类的样本的权值加大，减小被正确分类的样本的权值，这样下一个弱分类器就会重新重视被误分类的样本

3 弱分类器组合成强分类器，减小分类误差率大的弱分类器的权值，使之拥有较小的表决权，加大分类误差率小的弱分类器的权值，使它拥有较大的表决权

adaboost算法流程：

(1)给定训练集T 初始化训练集的权值分布

         D₁=(w₁₁,w₁₂,w₁₃,...,w_1n) w_1i=1/N

(2)对于第m个弱分类器，通过学习得到基本分类器

         G_m(x):->{-1,1}

(3)计算G_m(x)在训练集上的分类误差率e_m

        e_m=∑_{i=1 to n}w_miI(G_m(x_i)!=y_i)

(4)计算G_m(x)的权值α_m

        α_m=1/2log(1-e_m)/e_m

(5)更新下一个弱分类器的数据样本权值

         D_m+1=(w_m+1,1,w_m+1,2,...w_m+1,n)

        w_m+1,i=w_miexp(-α_my_iG_m(x_i))/Z_m

        其中Z_m是规范化因子

         Z_m=∑_{i=1 to n}w_miexp(-α_my_iG_m(x_i))

(6)m个弱分类器的组合

       f(x)=∑α_mG_m(x)

得到分类器 G(x)=sign(∑α_mG_m(x))