zoukankan      html  css  js  c++  java
  • aggregation(2):adaptive Boosting (AdaBoost)

    image

    给你这些水果图片,告诉你哪些是苹果。那么现在,让你总结一下哪些是苹果?

    1)苹果都是圆的。我们发现,有些苹果不是圆的、有些水果是圆的但不是苹果,

    2)其中到这些违反“苹果都是圆的”这一规则的图片,我们得到“苹果都是圆的,可能是红色或者绿色”。。我们发现还是有些图片违反这一规则;

    3)其中到违反规则的图片,我们发现“苹果都是圆的,可能是红色或者绿色,而且有梗”。

    至此分类完成。

    模拟这一过程,就是adaBoost算法。

    首先从一个弱分类器开始,然后集中注意力放在发生错误的样本上,get下一次分类器。adaBoost的特点是:

    1)不同的分类器是串行训练的,也就是:第二个分类器依赖于第一个分类器;

    2)通过集中关注被已有分类器错分的那些数据来获得新的分类器。

    如何集中关注错分的数据?通过提高错分数据的权重。这就要求:

    image

    image

    image

    为了更具有物理意义,我们把ε给scaling一下:

    image

    这样有什么物理意义呢?当数据错分的时候,◇必然大于1.相当于将数据权重放大;而数据分类正确的时候,◇小于1,相当于将数据权重减小。

    image

    image

    image

    image

    另一个问题:如何寻找弱分类器?我们知道任何机器学习算法都可以,但是这里一种常用的弱分类器是:单层决策树。

    image

  • 相关阅读:
    Servlet学习小结
    HTTP学习小结
    SpringMVC第二天
    使用Servlet 编写过滤器
    项目使用框架
    java-web
    SSM框架集成.下(供自己练习查阅用)
    SSM框架集成.中(供自己练习查阅用)
    SSM框架集成.上(供自己练习查阅用)
    debug
  • 原文地址:https://www.cnblogs.com/wangyanphp/p/5520323.html
Copyright © 2011-2022 走看看