了解主题模型,一般都会提到几种最基础的生成模型:Unigram model、Mixture of unigram,pLSA,接下来简单介绍一下他们之间的区别:
1.Unigram model
左图可知,一篇文档由词生成,每个词有其出现的概率,所有词概率的乘积即得到生成文档的概率。
2.Mixture of unigram
相比unigram多了一层主题的条件概率,在各主题下出现的所有词的概率乘积之和即为生成文档的概率。
3.pLSA
plsa与mix unigram的区别是给定了多个可能的主题,另外该模型与LDA相比,是没有词分布和话题分布对应的共轭分布狄利克雷分布,即
4.textrank
可以提取文本的关键词、摘要等