zoukankan      html  css  js  c++  java
  • 机器学习-主干学习路线梳理

    背景:经过一定时间的机器学习相关积累,发现机器学习相关的算法是有主干学习路线的,并非不同算法之间没有关联,但当前好多相关书籍并没有对此进行专门的梳理和讲解,所以我在此进行梳理

    此番梳理的算法学习路线是为了快速学习工业界常用的机器学习算法,主要针对监督学习,不常用的算法不做介绍

    梳理内容:直接上图

    有以下几点需要说明

    1)上述树结构代表主干的学习顺序,不代表算法之间的包含关系,且尽可能省略了分支

    2)逻辑回归属于常用机器学习算法,适合快速评估学习算法能够达到的基本效果

    3)热门且分类/回归效果普遍较好的算法为神经网络,xgboost,lightGBM,CatBoost, 随机森林

    4)其他算法,如朴素贝叶斯,knn等,在工业界普遍大量样本的情况下不适用

    5)神经网络输入深度学习算法,其他算法相对而言都可以称为浅层学习算法;神经网络适用于样本为图像/自然语言类型的数据,不需要复杂的特征工程,训练成本高;其他浅层学习算法需要较为复杂的特征工程,训练成本较低

    在学习上图算法过程中,要着重理解基础学习方法的三要素

    1、模型:这是对大多数人口中的“算法”最精确的称呼,当选择了一个具体的模型,也就选择了对应的参数空间,比如选择线性回归,参数空间即为w1x1+w2x2+w3x3……中的所有参数w的取值空间

    2、策略:学习算法是对具体的模型参数进行自动学习,策略即为衡量当前已学到参数好坏的标准,一般称为代价函数。有的人会首先想到准确率这种概念,但实际情况是准确率不满足计算的要求,我们更希望得到具有梯度的凸函数等形式,所以我们用相应的替代方案。

    3、算法:这里的算法是指学习算法,如梯度下降法、牛顿法,都是用来优化模型参数的方法;还有一点要讲的是,线性回归那条学习路线用的是最优化算法,而决策树本身采用的是启发式的算法,在后剪枝的过程中用到了最优化算法

    需要阅读的相关书籍囊括以下领域

    高数、线性代数、概率论、统计学、计算机科学、最优化理论、计算理论、信息论等

  • 相关阅读:
    Java学习第十五章 之 Map、可变参数、Collections
    Java第十四章 之 List、Set
    Java学习第十三章 之 常用API
    通过shell终端上传下载文件
    javamail邮件发送
    linux防火墙添加例外端口shell脚本
    MySQL批量更新
    MySQL返回列名
    发现一个有意思的东西
    struts2,action方法自动执行两次
  • 原文地址:https://www.cnblogs.com/tianyadream/p/12450267.html
Copyright © 2011-2022 走看看