关于机器学习,自己也是半路出家,没啥基础, 不过知识也是一点一点积累起来的。tf-idf是在处理文本中很常用的一个公式, 下面记录一下自己对它的理解:
tf :计算某个词在某个文档中的词频(即某个词在它所在的行中出现的次数，在spark ml的表示中,一行代表一个文档)。
idf: 逆向文档频率, 公式为: idf = log( (文档个数,即行数)+1 )/((单词出现在多少个文档中)+1)
以前虽然看着spark的文档上对于tfidf的说明，但是一直不明白它表示的物理意义是啥，后来随着用得越来越频繁，无形之中给自己加了个理解：找出某个文档中出现多,但是在总体中出现少的
词。这种词就可以作为该文档的主题特征。
tfidf的表示方法还有很多的变种，但核心就是上面所说的。spark中的公式也是采用的上述形式。