zoukankan      html  css  js  c++  java
  • 【统计学习方法】统计学习方法概论(1)

    一、统计学习,统计机器学习statistical machine learning

    1、统计学习方法:给定训练数据training data,在假设空间hypothesis spase(假设要学习的模型属于某个函数的集合),应用某个评价准则evaluation criterion,从假设空间中选取一个最优的模型。

    最优模型的选取由算法实现。

    2、统计学习方法的三要素:模型的假设空间model,策略strategy(模型选择的准则),模型学习的算法algorithm。

    3、步骤

    (1)得到training data

    (2)确定所有可能的模型的假设空间,即学习模型的集合

    (3)确定模型选择的准则,即学习的策略

    (4)实现求解最优模型的算法,即学习的算法

    (5)实验

    (6)预测或分析

    二、监督学习

    1、每个具体输入时一个实例instance,又特征向量feature vector表示。

    特征空间的每一维对应于一个特征

    2、分类

    回归问题:输入变量与输出变量均为连续变量的预测问题

    分类问题:输出变量为有限个离散变量的预测问题

    标注问题:输入变量与输出变量均为变量序列的预测问题

    三、三要素

    1、模型:输入到输出符合什么模型

    决策函数表示的模型为非概率模型

    由条件概率表示的模型为概率模型

    2、策略:按照什么样的准则学习或选择最优的模型

    1、损失函数loss function,记做L(Y,f(X)),度量预测的错误程度

    (1)0-1损失函数

    (2)平方损失函数

    (3)绝对损失函数

    (4)对数损失函数

    2、期望风险,期望损失,风险函数Rexp(f),学习的目标就是选择期望风险最小的模型

    3、经验风险,经验损失Remp(f),用风险经验估计期望风险

    4、用经验风险估计期望风险常常不理想,需要矫正

    5、经验风险最小化empirical risk minimization ERM,这个策略认为,经验风险最小的模型是最优模型。

    极大似然估计就是风险经验风险最小化的一个例子。

    当样本容量很小时,会出现过拟合over-fitting

    6、结构风险最小化structural risk minimization SRM,是为了防止过拟合而提出的策略

    结构风险最小化等价于正则化regularization

  • 相关阅读:
    PIL库,图像处理第三方库
    文件指针
    机器学习之KNN---k最近邻算法-机器学习
    python 中的内置高级函数
    sklearn中standardscaler中fit_transform()和transform()有什么区别,应该怎么使用?
    python中导入sklearn中模块提示ImportError: DLL load failed: 找不到指定的程序。
    pandas中读取文件报错
    beacon帧字段结构最全总结(一)——beacon基本结构
    python中实例方法,类方法,静态方法简单理解
    一种logging封装方法,不会产生重复log
  • 原文地址:https://www.cnblogs.com/549294286/p/2822483.html
Copyright © 2011-2022 走看看