论证了在有noise的情形下,机器依然可以学习。然后介绍了error 的几种衡量方法。
想象在抽取弹珠的过程中,弹珠会不断地变色,那么在抽出来的时刻,它的颜色对应一个概率分布。
类比到有noise的情形,就是 对一个x,
即便如此,在变色弹珠抽样中,抽出来的时刻的弹珠颜色占比仍然能估计出总体此刻的颜色占比,只要每一个弹珠的颜色分布都是iid的。
称P(y|x)为目标分布,在例子中,根据P(y|x)可以得到 ideal mini-target f(x)。
学习的目标变成了 在常见的点上预测 ideal mini-target f(x).
error measure
衡量g的好坏,看g在out of sample上的错误率,通常是对每一个x算错误率后取均值。
在二分类中,错误用0/1来衡量。
两个常见的pointwise error衡量方法,0/1 error通常用于分类,平方error通常用于回归。
measure选取不一样,最终 ideal mini-target f(x) 也会不一样。
因此可以说 error measure用来指导算法A进行学习。
至于为什么VC理论在更多的H和error上能够work还搞不懂。。
应该如何设计error measure呢?
true err 真正量化出来基本是不可能的,所以实际中常常使用plausible或者friendly(对算法来说容易求解)的方法,这样得到的是err^,而非err,是对err的估计或者逼近。