[IR课程笔记]统计语言模型

Basic idea

   1.一个文档（document）只有一个主题（topic）

    2.主题指的是这个主题下文档中词语是如何出现的

    3.在某一主题下文档中经常出现的词语，这个词语在这个主题中也是经常出现的。

    4.在某一主题下文档中不经常出现的词语，这个词语在这个主题中也是不经常出现的。

    5.由此，概率计算方法可以近似为：

Ranking

    当给定查询q时，怎么根据统计语言模型进行排序呢?有三种排序方法，分别是：1.Query-likelihood 2.Document-likelihood

3.Divergence (差异) of query and document models

     查询q = (q_1,q_2,...,q_k),M_D表示在统计语言模型下的文档。

     1.Query-likelihood 

     

Example:

Q = “人民 创造” D1 = “在 漫长 的 历史 进程 中 中国 人民 辛勤 劳动 不懈 探索 勇于 创造 中国 人民 热爱 和平 ”

P(“人民”|MD1)=2/18, P(“创造”|MD1)=1/18

P(Q|MD1) = P(“人民”|MD1)*P(“创造”|MD1) = 2/18 * 1/18

 

      2.Document-likelihood

     

        存在的问题：a.文档的长度相差很大，很难比较 b.由于文档中出现的词很多没有出现在查询中，将会出现零频问题 c.将会出现无意义的作弊网页

        解决这些问题的方法：

      3.Divergence (差异) of query and document models

            

             上式中w指的是同时出现在q和d中的词语，它的意义是用Q对D进行编码，所需要的位数

零频问题

   解决方法：1.拉普拉斯平滑：把每个词的词频都加1。

                  2.Lindstone correction：把每个词都加一个很小的值ε。

                  3.Absolute Discounting：把词频不等于0的词减去一个很小的值ε，再把这些值平均分配到词频为1的词上去。