07-01 推荐系统常用度量指标

目录

• 推荐系统常用评估指标
• 一、RMSE
• 二、MAE
• 三、Precision(准确率)&Recall(召回率)
• 四、覆盖率
• 五、信息熵
• 六、基尼系数
• 七、多样性
• 八、获取各种评测指标的途径
• 九、长尾分布

更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/p/11686958.html

推荐系统常用评估指标

一、RMSE

加大了对预测不准的用户物品评分的惩罚。

RMSE=∑u,i∈T(rui−rui^)2|T|−−−−−−−−−−−−−−−√RMSE=∑u,i∈T(rui−rui^)2|T|

# records[i] = [u,i,rui,pui] # rui是用户u对物品i的实际评分，pui是用户u对物品i的预测评分

def rmse(records):
    """计算均方根误差"""
    
    return math.sqrt(sum([(rui-pui)*(rui-pui) for u,i,rui,pui in records])/len(records))

二、MAE

如果评分系统是基于整数建立的，对预测结果取整会降低MAE的误差。

MAE=∑u,i∈T|rui−rui^||T|MAE=∑u,i∈T|rui−rui^||T|

# records[i] = [u,i,rui,pui] # rui是用户u对物品i的实际评分，pui是用户u对物品i的预测评分

def mae(records):
    """计算平均绝对误差"""
    
    return math.sqrt(sum([abs(rui-pui) for u,i,rui,pui in records])/len(records))

三、Precision(准确率)&Recall(召回率)

Precision=∑u∈U|R(u)⋂T(u)|∑u∈U|R(u)|Precision=∑u∈U|R(u)⋂T(u)|∑u∈U|R(u)|

其中R(u)R(u) 是用户在训练集上的行为给用户作出的推荐列表。

Recall=∑u∈U|R(u)⋂T(u)|∑u∈U|T(u)|Recall=∑u∈U|R(u)⋂T(u)|∑u∈U|T(u)|

其中T(u)T(u) 是用户在测试集上的行为给用户作出的推荐列表。

def precision_recall(test, N):
    """
    计算准确率和召回率
    test: 
    N: 推荐列表长度
    """
    hit = 0
    n_recall = 0
    n_precision = 0

    for user, item in test.items():
        rank = Recommend(user, N)
        hit += lenn(rank & itmes)
        n_recall += len(items)
        n_precision += N

    return [hit/(1.*n_recall), hit/(1.*n_precision)]

四、覆盖率

覆盖率描述一个推荐系统对物品长尾的发掘能力。

Coverate=|⋃u∈UR(u)|ICoverate=|⋃u∈UR(u)|I

其中R(u)R(u) 是推荐系统给每个用户推荐一个长度为NN 的物品列表。

五、信息熵

信息熵可以定义覆盖率。

H=∑i=1np(i)logp(i)H=∑i=1np(i)log⁡p(i)

其中p(i)p(i) 是物品ii 的流行度除以所有物品流行度之和。

六、基尼系数

基尼系数可以定义覆盖率。基尼系数也可以查看推荐系统算法是否具有马太效应（流行更流行，不流行更不流行）。

G=1n−1∑j=1n(2j−n−1)p(ij)G=1n−1∑j=1n(2j−n−1)p(ij)

其中ijij 是按照物品流行度pp 从小到大排序的物品列表中的第jj 个物品。

def gini_index(p):
    """计算基尼系数"""
    j = 1
    n = len(p)
    G = 0
    
    for item, weight in sorted(p.items(), key=itemgetter(1)):
        G += (2*j-n-1)*weight

    return G / float(n-1)

七、多样性

多样性描述了推荐列表中物品两两之间的不相似性。

Diversity(R(u))=1−∑i,j∈R(u),i≠js(i,j)12|R(u)|(|R(u)|−1)Diversity(R(u))=1−∑i,j∈R(u),i≠js(i,j)12|R(u)|(|R(u)|−1)

其中R(u)R(u) 为用户uu 的推荐列表，s(i,j)∈[0,1]s(i,j)∈[0,1] 定义了物品ii 和物品jj 之间的相似度。

推荐系统的整体多样性定义为：

Diversity=1|U|∑u∈UDiversity(R(u))Diversity=1|U|∑u∈UDiversity(R(u))

八、获取各种评测指标的途径

-	离线实验	问卷调差	在线实验
用户满意度	x	y	o
预测准确度	y	y	x
覆盖率	y	y	y
多样性	o	y	o
新颖性	o	y	o
惊喜度	x	y	x

九、长尾分布

fi(k)=αikβifu(k)=αukβufi(k)=αikβifu(k)=αukβu

其中fu(k)fu(k) 表示对kk 个物品产生行为的用户数；fi(k)fi(k) 表示被kk 个用户产生过行为的物品数。