zoukankan      html  css  js  c++  java
  • 关于TF(词频) 和TF-IDF(词频-逆向文件频率 )的理解

     ##TF-IDF

    TF(词频):  假定存在一份有N个词的文件A,其中‘明星‘这个词出现的次数为T。那么 TF = T/N;

    所以表示为: 某一个词在某一个文件中出现的频率.

    TF-IDF(词频-逆向文件频率):  表示的词频和逆向文件频率的乘积.

    比如:  假定存在一份有N个词的文件A,其中‘明星‘这个词出现的次数为T。那么 TF = T/N;  并且‘明星’这个词,在W份文件中出现,而总共有X份文件,那么

    IDF = log(X/W) ;

    而: TF-IDF =  TF *  IDF = T/N * log(X/W);   我们发现,‘明星’,这个出现在W份文件,W越小 TF-IDF越大,也就是这个词越有可能是该文档的关键字,而不是习惯词(类似于:‘的’,‘是’,‘不是’这些词),

    而TF越大,说明这个词在文档中的信息量越大.

  • 相关阅读:
    mysql误删表,无备份
    感情启示录
    奸的好人之财色战场
    Word神器使用
    Maven工程的Web调试
    IntelIoT技术笔记Java/Eclipse
    IntelIoT技术笔记Maven
    Linux脚本(二)
    MINA
    360是神器
  • 原文地址:https://www.cnblogs.com/gongxijun/p/8673241.html
Copyright © 2011-2022 走看看