zoukankan      html  css  js  c++  java
  • Machine Learning --- Structure risk & VC dimension

    一、结构风险

    结构风险=经验风险+置信风险

    经验风险=分类器的训练误差

    置信风险=分类器的测试误差

    其中置信风险由样本数量N与分类函数的VC维h决定。样本数量越多模型越接近真实分布,置信风险越小;VC维越大,模型越复杂推广性差,置信风险越大。结构风险公式如下:

    image

    二、VC维

    定义:若h个样本能被分类函数按所有可能的2h种形式分开,则称分类函数能把h个样本打散。分类函数的VC为就是它能打散的最大样本数h。若分类边界为线性,则h=D+1,D为特征维数。

    [例]2维平面内只能找到3个点被直线打散分成两堆。设A、B、C表示三个点,+1,-1表示堆的类别。

    当h=3时,有8种打散方式:

    image

    当h=4时,只有14种打散方式(应该有24=16种)

    image image image

    因此VC维等于3。

  • 相关阅读:
    Linux
    前端
    第一章 初识 MyBatis
    mysql 复习
    五 、 Kafka producer 拦截器(interceptor) 和 六 、Kafka Streaming案例
    spark graphx图计算
    四、Kafka API 实战
    三、Kafka工作流程分析
    二、Kafka集群部署
    一、KafKa概述
  • 原文地址:https://www.cnblogs.com/jizhiyuan/p/3426947.html
Copyright © 2011-2022 走看看