【转】nDCG measure相关概念 浅色天空的日志 网易博客

【转】nDCG measure相关概念 - 浅色天空的日志 - 网易博客

【转】nDCG measure相关概念   

2011-06-20 18:04:20|  分类： 默认分类 |  标签：  |字号 大中小 订阅

 

Normalized Discounted Cumulative Gain

一种对搜索引擎或相关程序有效性的度量。

假设：

1. 强相关的文档出现在结果列表越靠前（rank越高）越有用

1. 强相关文档比弱相关文档有用，比不相关文档有用

下面有几个层层递进的概念：

Graded Relevance:

制定的衡量相关度的若干个等级，如：

Highly relevant: 2

Marginally relevant: 1

Irrelevant: 0

一般由人（Human judge）来裁定。下述公式中表示为rel

Cumulative Gain:

不考虑结果集中的序信息，单纯把分级相关度相加。

结果集中第p个结果的CG值为：

改变p之前的任意两结果的位置关系不会影响p的CG值

在上述假设下，DCG较CG为优

Discounted Cumulative Gain

如果一个强相关的文档排名靠后则应该受到惩罚

计算式不唯一，理论上只证明了对数折扣因子的平滑性要求

另一个DCG计算公式更加强调相关性

若分级相关度只在0和1取二值的话，二公式效果相同

Normalized Discounted Cumulative Gain

根据Query的不同，结果列表的长度也不同，所以这一度量考虑了正规化问题

IDCGp（Ideal DCG）是在一个完美的排序下，p所具有的最大DCG值

这样一来无论Query是什么，nDCG都可以得到一个平均值，因此不同的Query之间的效能就可以做比较了。

完美的排序算法会使DCGp和IDCGp相同，从而使nDCGp为1，nDCG的取值在0到1之间

例：

结果列表中的6篇文档D1,D2,D3,D4,D5,D6，判定了他们的相关度是3,2,3,0,1,2，则：

一个理想的排序应该是：3，3，2，2，1，0，所以