zoukankan      html  css  js  c++  java
  • 不需要深度学习就能做的文本分类器

    朴素贝叶斯文本分类应该是最简单的文本分类器了。它基于这么一个假设:在给定类别的文档中,所有的词都是独立无关的

    朴素贝叶斯做文本分类的原理如下:

    令d代表输入文档,c代表文档所属类别。分类的目标是要 求在输入d文档的前提下属于类别c的概率$P(c|d)$,概率越高说明文档越有可能属于类别c。即

    $widehat{c}=arg max limits_{c in C} P(c|d)$

    利用贝叶斯公式$P(c|d)=frac{P(d|c) P(c)}{P(d)}$,由于$P(d)$指的是文档d出现的概率,它在整个数据集中都有相同的值,对每个类别的贡献都是相同的,所以我们可以将它忽略,于是可以得到下式

    $widehat{c}=arg max limits_{c in C} P(d|c) P(c)$

    因为文档d是由单词word组成的,所以可以进一步分解如下

    $widehat{c}=arg max limits_{c in C} P(w_1,w_2,...,w_n|c) P(c)$

    再利用朴素贝叶斯的假设,变为

    $widehat{c}=arg max limits_{c in C} P(w_1,w_2,...,w_n|c) P(c)=arg max limits_{c in C} P(c) prod_{i=1}^{n} P(w_i|c) $

    这里i表示word所在的位置

    两边取log,避免溢出,就得到

    $log widehat{c}=log arg max limits_{c in C} P(c) prod_{i=1}^{n} P(w_i|c) =arg max limits_{c in C} log P(c) + sum_{i=1}^{n} log P(w_i|c)$

    接下来计算P(c)和P(w_i|c)。

    P(c)表示某类数据在所有数据中出现的概率。在文本分类中,它表示c类型的文档在所有文档中出现的概率,即c类型的文档$N_c$占总文档数量$N_{doc}$的比例

    $P(c)=frac{N_c}{N_{doc}}$

    然后求$P(w_i|c)$:

    $P(w_i|c)=frac{count(w_i,c)}{sum_{w in V} count(w,c)}$

    $count(w_i,c)$为某类文档中w_i词出现的次数,V为所有文档中出现的词汇。

    Tips:

    未出现的词会导致概率为0,使得所有乘积为0。推荐的一种方法是使用加1(Laplace)平滑:

    $P(w_i|c)=frac{count(w_i,c)+1}{sum_{w in V} (count(w,c)+1)}=frac{count(w_i,c)+1}{sum_{w in V} count(w,c)+|V|}$

    python实现参考链接:https://github.com/webbery/NLPExperiments.git

    伪代码实现如下:

     参考文献:

    [1] Speech and Language Processing. Third Edition. Daniel Jurafsky, James H. Martin
  • 相关阅读:
    你不能忽视的HTML代码2精编篇
    C#中析构函数和命名空间的妙用
    值类型和引用类型及其它
    这些年我收集的GDI+代码2
    C#中超级好用的字符串
    Javascript的压缩优化
    Spring和hibernate多个数据源的事务管理
    android中Handler,Looper,Message的开发答疑
    Spring引用Tomcat的 JTA事务
    js禁止用户刷新页面
  • 原文地址:https://www.cnblogs.com/webbery/p/11277458.html
Copyright © 2011-2022 走看看