1 有噪声情况下的机器学习过程
由一个条件概率来产生数据的标签y，相当于一个确定函数加上噪声：
2 错误衡量方式
这里我们介绍pointwise的错误衡量方式。所谓point wise就是可以对于一个点计算它的错误。
常见的有两种pointwise错误衡量方式：0/1错误和平方错误：
、
01错误用于分类，平方错误用于回归。
我们之前推导VCbound使用的错误衡量方式就是01错误，首先计算出每个点的error，然后对所有点的error取平均：
下面这个例子说明了，选择错误衡量方式很重要，不同的错误衡量会使算法作出不同的选择：
加上错误衡量之后，我们的机器学习流程就变为如下：
还要提一下，之前我们推导VCbound和VC维使用的是二分类下的01错误衡量。事实上，对于其他的机器学习问题（多分类，回归等）以及其他的错误衡量方式，我们仍然能推出相应的VCbound和VC维。
3 不同应用的错误衡量
错误衡量取决于不同的应用，例如同样是二分类问题，超市和CIA的指纹识别会采用不同的错误衡量方式。
在实际中，我们有时候会用替代法，在算法上使用err-hat来代替真正的err作近似的错误衡量。做替代的原因可能是真正的err对于算法不太好求解，且替代后能达到与原来近似的效果。例如后面的课程中，我们会用平方错误或交叉熵错误来代替线性分类的01错误。
机器学习流程如下：
4 weighted classification
如前面CIA的问题，需要最小化的错误是：
如果使用pocket来求解这个问题（pocket在求解01错误时在理论上证明是有效的），需要作一定的转化：
把-1数据作虚拟的复制1000倍，则就把这个问题转化为新数据集上的01错误问题：
因此，为了达到“新数据集”的等效果，需要对原pocket修改两个地方：
（1）随机访问-1数据的几率要比原来大1000倍；
（2）对每个w计算错误时的使用Einw来代替原来的Ein。
fun time :解决不均衡样本的方法：
(1)样本采样
(2)对错误衡量的权重作调整