[11-2] adaboost理解

以二分类问题为例(｛-1，+1｝)

adaboost步骤：

1.初始化u1=(1/N,1/N,…,1/N)

2.找到h，使最小化，记该h为g；计算作为该g的权重

3.更新ui:

  

4.重复2，3得到T个h，使用下列公式作为预测

 

理解：

1.   adaboost 和 ut

数据n的权重在经过T轮更新后，正比于 每个g在该资料上做的带权重的投票

将看成是margin，则margin变大，会ut会变小

所以每一轮adaboost，都会使变小，即使下列公式变小

  

2.adaboost 和 g（把adaboost看成在每一轮都尽可能使ut变小）

以gradient观点看：

adaboost每一轮都在找一个最好的h作为方向更新ut，使ut最小

adaboost选择这个h的标准是，使最小，得到g

3.adaboost和

选定特定的方向g后，选定，使最小

总结：