通俗理解GBDT和XGBoost (从决策树Decision Tree开始，Step-by-Step手把手)

开头语：这一系列的笔记仍然致力于简洁 + 尽量能说清楚怎么回事。为了理解GBDT和XGBoost，从最基础的决策树开始，一步一步，手把手深入到GBDT和XGBoost。

一段发自肺腑感谢的话：非常感谢Youtube上“StatQuest with Josh Starmer”公众号，发布了很多通俗易懂的视频（从决策树一直到XGBoost也在其中）。这一系列的笔记也是很大程度的上基于他的讲解和列举的例子。

一个小公告：可以关注微信公众号啦，第一时间收到更新:)。

文章路线目录（有链接可点的情况下，说明已经更新了；其他标题如果还是纯文字状态，说明还没写完:-）：

• Decision Trees （通俗理解决策树）

• Main Idea （给了什么是决策树的例子；以及当有了自己的数据集时，怎么样从0开始逐渐构建一个决策树；2020/04/04）

• What If We Have Numeric Data? (如果数据中有数值类型的特征；2020/04/05）

• Ranked Data and Multiple Choice Data （如果数据中有排序或者多个选项的特征；2020/04/06）

• Feature Selection （决策树中的特征选择；2020/04/08）

• Missing Data (要是有的数据值有缺失怎么办？；2020/04/09）

• Regression Trees (回归树) 

  • 第1篇（2020/04/10）
  • 第2篇（2020/04/11）

• Prune Regression Trees （修剪回归树）

  • 第1篇（2020/04/12）
  • 第2篇（2020/04/15）

• Random Forests （通俗理解随机森林）

• Building （2020/04/19）

• Using （2020/04/24）

• Evaluating（2020/04/27）

• Missing Data （2020/04/29）

  • 第1篇 （2020/04/29）
  • 第2篇 （2020/05/19）
  • 第3篇 （2020/05/21）

• AdaBoost （通俗理解AdaBoost）

  • Concept （2020/05/22）
  • Building
    • 第1篇（2020/05/24）
    • 第2篇（2020/05/31）

• Gradient Boost （通俗理解GBDT）

• Regression Main Ideas

• Regression Details

• Classification

• Classification Details

• XGBoost （通俗理解XGBoost）

• XGBoost Trees for Regression

• XGBoost Trees for Classification

• Mathematical Details

• Optimisation

结束语：当每完成几篇后，所有内容会整合到一个单独的大网页，阅读会更流畅，也更方便搜索关键字。

（希望大家特殊期间，身体健康！）