vc demension定义：
breakPoint - 1
N > vc dimension， 任意的N个，就不能任意划分
N <= vc dimension，存在N个，可以任意划分
只要vc dimension是finite，那么H就比较好。
Perceptron Learning Algo
多维度也行么？vc dimension是多少么？d维的， Dvc = d + 1
要证明！
Dvc >= d+1， 存在d+1个点，可以被shatter。
原点，加上每个分量为1， 加上常数项，矩阵可逆， 是否有w使得 sign(wx) = y,只要wx = y, x可逆，所以w存在。
Dvc <= d+1，任意d+2个点，不能被shatter。
多了一行，线性相关，有一个点是其他点的线性组合，假设可以shatter, ox均可以，但是如果每个都同号，最后一个一定>0，所以不能shatter。
vc dimension和自由度差不多。
Eout <= Ein + blahblah
blahblah就是模型复杂度， = Omega(N, H, delta)
随着vc dimension的增长，
Ein不断变小，model complexity不断增大，Eout一般先减小再增大。
一般来讲，N = 10倍的vc dimension就够用了，理论的vc bound简直太宽松了！