大师Yoav Freund在文章《A decision-theoretic generalization of on-line leanring and an application to boosting》
AdaBoost.M1(adaBoost的多分类版本号)
—————————————————————————————————————————————————————
设序列,当中
为
的标签。
。且
。
。
服从
分布。设
为循环次数(弱分类器的个数)。
初始化序列的权重,
,
:
1.归一化:
。
2.依照概率分布,对序列进行抽样分布,形成第
次循环的训练数据集
,得到弱分类器:
。
3.计算弱分类器在数据集
的错误率
。假设
,令
,且跳出循环。
4.令(注:
)。
5.令新的权重:
。
(注:我们发现对于分类正确的序列,它的权重降低,分类错误的序列,权重增大)
循环结束后,输出分类器映射:
。
_______________________________________________________________________________________________________________________________
________________________________________________________________________________________________________________________________
大师 JerRome Friedman、Tervor Hastie、Robert Tibshirani在文章《Additive Logistic Regression :a Statistical View of Boosting》,对AdaBoost.M1的二分类版本号,做了更加清晰的描写叙述。即:
Discrete AdaBoost(二分类)
—————————————————————————————————————————————————————
设序列,当中
为
的标签,
。且
,
,
服从
分布。
1.初始化:是均匀分布,即
的权重
,
。
2.:
(a):按概率分布对序列进行抽样分布,形成该次循环的训练数据集
。然后得到弱分类器
。
(b): 查看全文