zoukankan      html  css  js  c++  java
  • 统计学习方法(一)概念

    统计学习方法概论:

    (一),统计学习

    1,统计学习的特点

      

    2,统计学习的对象

      

    3,统计学习的目的

      

    4,统计学习的方法(重点:模型的集合,策略(模型的选择),算法(模型的实现调优))

      

    (二),监督学习重要概念

    1,输入空间,特征向量空间,输出空间,预测问题分为(回归问题(输出为连续即可),分类问题,标注问题)

      

    (三),统计学习三要素

    1,模型

      决策函数模型:

      条件概率模型:

    2,策略

    2.1 损失函数:

       

        

    2.2 经验风险最小化和结构最小化

      

      

      如贝叶斯估计的最大后验概率就是一种结构风险最小化的一个例子,通过使用先验概率作为发现(复杂的模型先验概率大)

    3,算法

      

    (四)模型评估选择

    1,训练误差和测试误差

    2,过拟合

      

      

      

      

        过拟合和欠拟合产生的原因及解决方式:

          欠拟合的原因:模型复杂度过低,不能很好的拟合所有的数据,训练误差大;
          避免欠拟合:增加模型复杂度,如采用高阶模型(预测)或者引入更多特征(分类)等。
          过拟合的原因:模型复杂度过高,训练数据过少,训练误差小,测试误差大;
          避免过拟合:降低模型复杂度,如加上正则惩罚项,如L1,L2,增加训练数据等。

    4,正则化:L1和L2范式

    5,交叉验证:训练集,验证集,测试集

    6,泛化误差,泛化误差上界

    7,生成模型(朴素贝叶斯)和判别模型(决策树,支持向量机)

      

    8,分类模型

      

    9,标注问题

      

      

  • 相关阅读:
    数据库三大范式讲解
    transition、-moz-transition、-webkit-transition、-o-transition是什么意思?怎样用?
    js常用函数
    margin()与offset()的区别
    小总结 小理解 (不咋全面...)
    栈的C++实现(指针)——创建-push-pop-top-清空栈-处理栈
    链表的C++实现——创建-插入-删除-输出-清空
    运行时间中的对数
    最大子序列和
    mapminmax的用法详解 _MATLAB
  • 原文地址:https://www.cnblogs.com/ksWorld/p/7092229.html
Copyright © 2011-2022 走看看