zoukankan      html  css  js  c++  java
  • 机器学习基石笔记-Lecture 8 Noise and error

    论证了在有noise的情形下,机器依然可以学习。然后介绍了error 的几种衡量方法。

    想象在抽取弹珠的过程中,弹珠会不断地变色,那么在抽出来的时刻,它的颜色对应一个概率分布。

    类比到有noise的情形,就是 对一个x,本来是确定的,加入noise后, 对应到了一个概率分布。

    即便如此,在变色弹珠抽样中,抽出来的时刻的弹珠颜色占比仍然能估计出总体此刻的颜色占比,只要每一个弹珠的颜色分布都是iid的。

    ,那就是说 |Ein - Eout| 仍然能够符合vc bound.

    称P(y|x)为目标分布,在例子中,根据P(y|x)可以得到 ideal mini-target f(x)。

    学习的目标变成了 在常见的点上预测 ideal mini-target f(x).

    error measure

    衡量g的好坏,看g在out of sample上的错误率,通常是对每一个x算错误率后取均值。

    在二分类中,错误用0/1来衡量。

    两个常见的pointwise error衡量方法,0/1 error通常用于分类,平方error通常用于回归。

    measure选取不一样,最终 ideal mini-target  f(x)  也会不一样。

    因此可以说 error measure用来指导算法A进行学习。

    至于为什么VC理论在更多的H和error上能够work还搞不懂。。

    应该如何设计error measure呢?

    true err 真正量化出来基本是不可能的,所以实际中常常使用plausible或者friendly(对算法来说容易求解)的方法,这样得到的是err^,而非err,是对err的估计或者逼近。

  • 相关阅读:
    PTA乙级 (*1034 有理数四则运算 (20分)(string.append()))
    Nginx反向代理部署Node.js应用配置方法
    js处理字符串的用法小结
    从零开始基于webpack搭建react全家桶
    Linux常用指令
    matplotlib作图时中文字体乱码解决办法
    大话数据结构 串
    大话数据结构 队列
    大话数据结构 栈
    大话数据结构 线性表
  • 原文地址:https://www.cnblogs.com/akanecode/p/7054616.html
Copyright © 2011-2022 走看看