zoukankan      html  css  js  c++  java
  • 理解机器为什么可以学习(三)---Theory of Generalization

    前边讨论了我们介绍了成长函数和break point,现在继续讨论m是否成长很慢,是否能够取代M。

    成长函数就是二分类的排列组合的数量。break point是第一个不能shatter(覆盖所有情形)的点。

    1.break point对成长函数的限制

    我们希望

    这里引入上限函数 bound function:给了break point,看看可以组成多少排列组合,下面证明boundfunction是多项式成长的。

    右上角相当于没有加条件限制,对角线就是全部的减1嘛,因为全部不可能,小一点,找个上限。

    接下来填剩余部分,通过转换得到B(4, 3) = B(3, 3) + B(3,2)

    所以得到,

    同理得到,

    由数学归纳法可以证明:

    所以,我们就得到:成长函数会被上限函数bound住,上限函数会被上限函数的上限函数bound住,上限函数的上限会被一个与break point有关的多项式bound住。

    接下来,我们回到最之前的Hoeffding不等式转换式:

    接下来证明它们。

    由于Eout是无限个点的,因此我们不能直接带入上限,现在想办法转化,类似于交叉验证,现在选择一个Ein',那么有,

    所以,最终我们得到,

    对于PLA来说,由于我们知道4是一个break point,所以最终成长函数会被限制住,也就是learning是可以的。

    下一节引入VC Bound继续解释为什么机器可以学习。http://www.cnblogs.com/futurehau/p/6260332.html

  • 相关阅读:
    哈夫曼编码拓展题
    TrieTree
    并查集
    hash一致性
    布隆过滤器
    如何计算完全二叉树的结点数?
    如何翻转单链表和双向链表
    如何判断是搜索二叉树与完全二叉树
    文本分类之特征描述vsm和bow
    文本分类概述
  • 原文地址:https://www.cnblogs.com/futurehau/p/6254029.html
Copyright © 2011-2022 走看看