基于熵的方法计算query与docs相似度

一.简单总结

　　其实相似度计算方法也是老生常谈，比如常用的有：

　　1.常规方法

　　　　a.编辑距离

　　　　b.Jaccard

　　　　c.余弦距离

　　　　d.曼哈顿距离

　　　　e.欧氏距离

　　　　f.皮尔逊相关系数

　　2.语义方法

　　　　a.LSA

　　　　b.Doc2Vec

　　　　c.DSSM

　　......

二.利用熵计算相似度

　　关于什么是熵、相对熵、交叉熵的概念，网上有很多，这里就不总结了。本篇主要关注工程方面，即怎么用代码实现，参考的论文来自《Content-based relevance estimation on the web using inter-document similarities》(2012-CIKM)。

　　利用熵计算query与文档相似度并排序的步骤分为召回和重排序，比如先从大规模文档中召回小部分子集再进行重排序。召回部分可以用一些简单的效率高的方法快速确定候选子集，再将这些子集进行重排序。本篇关注如何利用熵重排序相关文档。

　　召回后的排序公式如下：

　　　　

　　说明：

　　（1）.H(d)表示文档d的熵

　　　　

　　　　其中=|w|/|d|，分子是词w个数，分母为文档d中的总词数

　　（2）.文档间的相似度

　　　　

　　　　

　　　　其中表示query的top-k个相关文档；利用交叉熵计算文档间的相似度，这里面的文档去除了query中的词。

　　　　表示语言模型Dirichlet-smoothed，常见的平滑方法如下：

　　　　

　　　　其中Dirichlet 方法：
　　　　a.首先计算最基本的最大的似然估计w|d 单词在单个文档出现的频率（有可能为0，所以就需要平滑，将所有f(w|d1), f(w|d2)....f(w|dn) 的所有频率加总
　　　　b.设定u值，根据实证研究： Dirichlet 方法的u值在100-200之间是最理想 ，但论文中给出的是1000，0为不使用平滑
　　　　c. 计算P(w|C)的概率

　　  （3）.sim(q,d)表示query与doc的相似度，可以使用其它方法计算，也可以使用如(2)中的方法计算

 三.程序

　　完整程序https://github.com/jiangnanboy/entropy_sim

　　核心程序：

/**
     * 结合交叉熵和狄里克雷平滑语言方法计算相关度
     * @param queryTerms
     * @return
     */
    private Map<String, Double> queryDocScore(List<String> queryTerms) {
        //统计查询中的词频
        Map<String, Long> queryTermsCount = queryTerms
                .stream()
                .collect(Collectors.groupingBy(Function.identity(), Collectors.counting()));
        //查询中的总词频
        long queryTermsSize = queryTermsCount
                .values()
                .stream()
                .mapToLong(word -> word)
                .sum();

        //文档集中的词频
        Map<String, Long> collectionTermsCount = corpusTerms
                .stream()
                .collect(Collectors.groupingBy(Function.identity(), Collectors.counting()));
        //文档集中的总词频
        long collectionTermsSize = collectionTermsCount
                .values()
                .stream()
                .mapToLong(word -> word)
                .sum();

        Map<String, Double> scoredDocument = new HashMap<>();
        documentList.forEach(docTerms -> {
            //文档中的词频
            Map<String, Long> docTermsCount = docTerms
                    .stream()
                    .collect(Collectors.groupingBy(Function.identity(), Collectors.counting()));
            //文档中的总词频
            long docTermsSize = docTermsCount
                    .values()
                    .stream()
                    .mapToLong(word -> word)
                    .sum();

            //计算交叉熵(或者相对熵)
            OptionalDouble score = queryTerms
                    .stream()
                    .mapToDouble(queryTerm -> {
                        //queryTerm的似然
                        double queryCE = (double)queryTermsCount.get(queryTerm) / queryTermsSize;
                        //经过Dirichlet smooth的term weight
                        double docCE = (1.0 + docTermsCount.getOrDefault(queryTerm, 0L) +
                                this.lambda * (collectionTermsCount.getOrDefault(queryTerm, 0L) / collectionTermsSize)) /
                                (docTermsSize + this.lambda);
                        return queryCE * Math.log(1 / docCE);//交叉熵
                        //return queryCE * Math.log(queryCE / docCE);//相对熵
                    })
                    .reduce(Double::sum);
            String docID = corpusHashMap.get(docTerms);
            scoredDocument.put(docID, Math.exp(-score.getAsDouble()));
        });
        return scoredDocument;
    }