zoukankan      html  css  js  c++  java
  • 机器学习技法之Aggregation方法总结:Blending、Learning(Bagging、AdaBoost、Decision Tree)及其aggregation of aggregation

    本文主要基于台大林轩田老师的机器学习技法课程中关于使用融合(aggregation)方法获得更好性能的g的一个总结。包含从静态的融合方法blending(已经有了一堆的g,通过uniform:voting/average、non-uniform:linear/non-linear和condition的融合形式来获取更好地性能)。动态融合方法learning(没有一堆的g set,而是通过online learning获取g,边学习g,变边进行融合,对照于blending中的uniform融合形式的有bagging,具有uniform融合形式的有AdaBoost(Re-weighting)。具有condition融合形式的有Decision Tree)。之后还包含一些aggregation model的aggregation。比方Random Forest、Gradient Boosted Decision Tree等。利用aggregation model进行机器学习有下面双方面的考量:1)cure of underfitting:比方AdaBoost-Stump,对于单个Decision Stump进行分类或拟合时,非常显然是能力不够的underfitting。我们须要提升G的能力。而通过aggregation就能够使得G变得strong和powerful;2)cure of overfitting:比方classification来说,我们通过aggregation得到了类似support vector的large margin的效果,即我们选择的是“moderate”的那个线(最明显的样例就是对于PLA,我得到了一堆的二维平面上能够分开的g,那么我通过融合后得到的G实际上是moderate。相应SVM中的large margin),从而实现了regularization的效果,能抑制overfitting。





  • 相关阅读:
    Hive(二)CentOS7.5安装Hive2.3.3
    Hive(一)Hive初识
    CentOS7.5搭建ELK6.2.4集群及插件安装
    开发工具之Spark程序开发详解
    Java多线程编程
    数据迁移之Sqoop
    CentOS7.5之Sqoop1.4.7的安装使用
    Hadoop案例(十一)MapReduce的API使用
    Hadoop案例(十)WordCount
    BSScrollViewEdgePop
  • 原文地址:https://www.cnblogs.com/lxjshuju/p/6759290.html
Copyright © 2011-2022 走看看