zoukankan      html  css  js  c++  java
  • 【模式识别与机器学习】——4.2特征选择

      设有n个可用作分类的测量值,为了在不降低(或尽量不降低)分类精度的前提下,减小特征空间的维数以减少计算量,需从中直接选出m个作为分类的特征。 问题:在n个测量值中选出哪一些作为分类特征,使其具有最小的分类错误?

      从n个测量值中选出m个特征,一共有 中可能的选法。 一种“穷举”办法:对每种选法都用训练样本试分类一下,测出其正确分类率,然后做出性能最好的选择,此时需要试探的特征子集的种类达到 种,非常耗时。 需寻找一种简便的可分性准则,间接判断每一种子集的优劣。 对于独立特征的选择准则 一般特征的散布矩阵准则

      对于独立特征的选择准则 类别可分性准则应具有这样的特点,即不同类别模式特征的均值向量之间的距离应最大,而属于同一类的模式特征,其方差之和应最小。 假设各原始特征测量值是统计独立的,此时,只需对训练样本的n个测量值独立地进行分析,从中选出m个最好的作为分类特征即可。

    讨论:

      上述基于距离测度的可分性准则,其适用范围与模式特征的分布有关。 三种不同模式分布的情况 (a) 中特征xk的分布有很好的可分性,通过它足以分离i和j两种类别; (b) 中的特征分布有很大的重叠,单靠xk达不到较好的分类,需要增加其它特征; (c) 中的i类特征xk的分布有两个最大值,虽然它与j的分布没有重叠,但计算Gk约等于0,此时再利用Gk作为可分性准则已不合适。 因此,假若类概率密度函数不是或不近似正态分布,均值和方差就不足以用来估计类别的可分性,此时该准则函数不完全适用。

      类内、类间的散布矩阵Sw和Sb 类间离散度越大且类内离散度越小,可分性越好。 散布矩阵准则J1和J2形式 使J1或J2最大的子集可作为所选择的分类特征。 注:这里计算的散布矩阵不受模式分布形式的限制,但需要有足够数量的模式样本才能获得有效的结果

     

  • 相关阅读:
    Linux环境快速搭建elasticsearch6.5.4集群和Head插件
    威胁猎杀实战(三):基于Wazuh, Snort/Suricata和Elastic Stack的SOC
    Wazuh 实操
    开源EDR(OSSEC)基础篇- 02 -部署环境与安装方式
    Wazuh简介
    Android service ( 二) 远程服务
    Android service ( 一 ) 三种开启服务方法
    Android事件分发机制完全解析,带你从源码的角度彻底理解
    View (二) 自定义属性
    View (五)自定义View的实现方法
  • 原文地址:https://www.cnblogs.com/chihaoyuIsnotHere/p/9797840.html
Copyright © 2011-2022 走看看