zoukankan
html css js c++ java
GBDT--简单理解
梳理
1.Model Ensemble 能够分为三大类:Bagging,Boosting。 Stacking.
2.Boosting能够说是一个思想(框架),而Adaboost等算法仅仅是其一个子类,记得ICCV2015有一个结合CNN和Boosting的工作获得了Best Paper Award?:
3.Boosting的
前向分布算法
(在每一步求解弱分类器Φ(m)和其參数w(m)的时候不去改动之前已经求好的分类器和參数):
4.不同的objective和最小化其的方法决定了不同种类的Boosting:
5.GBDT事实上就是上图中的Gradient Boosting的一个子类(弱分类器为决策树)
决策树
1.决策树的入门介绍參考:
算法杂货铺——分类算法之决策树(Decision tree)
2.决策树的特征选择: 1)信息增益, 2)信息增益比
3.决策树的生成算法:1)ID3算法–依据信息增益。 2)C4.5算法–依据信息增益比。 3)CART(包含回归和分类。二叉树生成)
4.决策树的剪枝:事实上就是一个Loss和T(表示决策树结点个数)trade off的过程
5.详细细节參考:《统计学习方法–李航》
查看全文
相关阅读:
C Looooops(扩展欧几里得)题解
POJ1061 青蛙的约会(扩展欧几里得)题解
UVA 11426 GCD
Trailing Zeroes (III) (二分)题解
BZOJ 1977 次小生成树
BZOJ 4557 侦查守卫
codevs 1088 神经网络
codevs 1135 选择客栈
BZOJ 3527 力
BZOJ 1610 连线游戏
原文地址:https://www.cnblogs.com/yxysuanfa/p/7257673.html
最新文章
【BZOJ1040】骑士(ZJOI2008)-环套树+最大权值独立集
【BZOJ1040】骑士(ZJOI2008)-环套树+最大权值独立集
【NOI2013T6】快餐店-环套树+树形DP+线段树
【NOI2013T6】快餐店-环套树+树形DP+线段树
deleted
deleted
deleted
deleted
deleted
deleted
热门文章
deleted
deleted
deleted
deleted
POJ1144 Network(割点)题解
POJ3436 ACM Computer Factory(最大流/Dinic)题解
Farey Sequence (素筛欧拉函数/水)题解
The equation (扩展欧几里得)题解
Maximum GCD (stringstream)题解
Death to Binary? (模拟)题解
Copyright © 2011-2022 走看看