假设空间H(Hypothesis Set)
输入空间D(X1...Xn)
1.增长函数(grown function)
是关于输入空间尺寸n的函数
假设空间对于D中所有实例实现分类(赋予标记)的分类方式的最大种数(有多少种分类方式)
最大值为2^n,但是很多增长函数都达不到最大值。
2.对分(dichotomies)
H对D的一种分类方式就是一种对分
3.打散(shatter)
H能实现D上全部n个实例的全部对分,就是打散,不能实现就是不打散。
4.Break Point
当n增大到一个值m时,增长函数就不能达到最大值2^n,m就是Break point,也就是第一个不打散的n
5.VC维
假设空间H的VC维是能被H打散的最大的示例集(数据集)的大小,即有: 其中 为假设空间在数据集大小为m时的增长函数。
对于一个假设空间H,如果存在m个数据样本能够被假设空间H中的函数按所有可能的 种形式分开 ,则称假设空间H能够把m个数据样本打散(shatter)。假设空间H的VC维就是能打散的最大数据样本数目m。若对任意数目的数据样本都有函数能将它们shatter,则假设空间H的VC维为无穷大。
参考:https://www.zhihu.com/question/38607822/answer/149407083