zoukankan      html  css  js  c++  java
  • 技术积累--常用的文本分类的特征选择算法

    常采用特征选择方法。常见的六种特征选择方法:
    1)DF(Document Frequency) 文档频率
    DF:统计特征词出现的文档数量,用来衡量某个特征词的重要性
    2)MI(Mutual Information) 互信息法
    互信息法用于衡量特征词与文档类别直接的信息量。
    如果某个特征词的频率很低,那么互信息得分就会很大,因此互信息法倾向"低频"的特征词。
    相对的词频很高的词,得分就会变低,如果这词携带了很高的信息量,互信息法就会变得低效。
    3)(Information Gain) 信息增益法
    通过某个特征词的缺失与存在的两种情况下,语料中前后信息的增加,衡量某个特征词的重要性。
    4)CHI(Chi-square) 卡方检验法
    利用了统计学中的"假设检验"的基本思想:首先假设特征词与类别直接是不相关的
    如果利用CHI分布计算出的检验值偏离阈值越大,那么更有信心否定原假设,接受原假设的备则假设:特征词与类别有着很高的关联度。
    5)WLLR(Weighted Log Likelihood Ration)加权对数似然
    6)WFO(Weighted Frequency and Odds)加权频率和可能性
     
     
    mark:具体做法有时间继续整理
  • 相关阅读:
    使用jekyll和Github搭建个人博客
    numpy的ndarray和matrix的运算
    Beta分布
    卡方分布
    二项式分布
    正态分布
    概率质量函数(PMF)、概率密度函数(PDF)和累积概率密度函数(CDF)
    Jetson AGX Xavier/Ubuntu测试SSD的读写速度
    Jetson AGX Xavier/Ubuntu安装SSD
    datatable 参数详解
  • 原文地址:https://www.cnblogs.com/suthui/p/5304402.html
Copyright © 2011-2022 走看看