zoukankan      html  css  js  c++  java
  • 机器学习(五)-决策树和随机森林

    这节课终于不是那么迷糊了,如果100分满分的话,听懂程度有70分了,初学者就是这么容易满足。 :| 老师说这是这20次课里最简单的一次。。。oh。。。no。

    不废话了,接着记笔记吧。

    CART:classsification and regression tree

    三种决策树:ID3,C4.5,CART

    树是最重要的数据结构。

    决策树示意图:

    决策树最重要的知识点:

    决策树学习采用的是自顶向下的递归方法,其基本思想是以信息熵为度量构造一棵熵值下降最快的树,到叶子节点处的熵值为零。此时每个叶节点中的实例都属于同一类。

    算法最大的优点是可以自学习。不需要使用者了解过多知识背景,只需要对训练实例进行较好的标注,就能够进行学习。属于有监督学习。

    从一类无序、无规则的事物中推理决策树表示的分类规则。

    建立决策树的关键:即在当前状态下选择哪个属性作为分类依据。根据不同的目标函数,建立决策树主要有以下三种算法:ID3,C4.5,CART.

    经验熵:由数据估计概率得到的熵。

    经验条件熵:有数据估计概率得到的条件熵。

    信息增益:得知特征A的信息而使类X的信息的不确定性减少的程度。

    剪枝是为了防止过拟合,提高泛化能力。(为了适应测试)

    分为前剪枝和后剪枝。

    前剪枝:比如约束树的高度,叶子节点的个数。

    后剪枝:树建好了以后再以某种标准进行剪枝。

    Bagging:

    可以加权。

    最后邹老师的总结。

    *********************************************分割线*********************************************

    现在回过头来,看开头说听懂了70%说高了。555555555555555555555555.............不灰心,不放弃。下午更新最爱的SVM。不知道看了几遍了,看能总结成什么样吧。

  • 相关阅读:
    Centos 7安装python3
    R贡献文件中文
    Sublime text 3 注册码激活码 版本号3143
    Create R NoteBook require updated versions of the following packages : knitr,rmarkdown.
    vim 的升级 安装 重装
    使用yum快速升级CentOS 6.5内核到 3.10.28
    Container With Most Water——LeetCode
    Majority Element II——LeetCode
    Summary Ranges —— LeetCode
    Contains Duplicate III —— LeetCode
  • 原文地址:https://www.cnblogs.com/xubing-613/p/5948881.html
Copyright © 2011-2022 走看看