推荐算法主要分为基于内容的算法和协同过滤. 协同过滤的两种基本方法是基于邻居的方法(基于内容/物品的协同过滤)和隐语义模型. 矩阵分解乃是实现隐语义模型的基石.
矩阵分解根据用户对物品的评分, 推断出用户和物品的隐语义向量, 然后根据用户和物品的隐语义向量来进行推荐.
推荐系统用到的数据可以有显式评分和隐式评分. 显式评分时用户对物品的打分, 显式评分矩阵通常非常稀疏. 隐式评分是指用户的浏览, 购买, 搜索等历史记录, 表示的是用户行为的有无, 所以是一个密集矩阵.
1. 基本矩阵分解
矩阵分解方法会将用户和物品映射到f维的隐向量空间, 用户对物品的评分表示为两个向量的内积. 亦即, 每个物品i表示为向量qi∈Rf, 每个用户表示成向量pu∈Rf. 对于物品i, 向量qi的元素表示的是物品i具有这些隐因子的程度, 对于用户u, 向量pu表示的是用户对各个隐因子的兴趣, 元素的值可正可负. 两个向量的内积
rui^=qTipu(1)
表示的就是估计的用户对物品的评分. 所以主要的挑战就是计算用户和物品到隐向量的映射.
最简单的就是奇异值分解(Singular value decomposition, SVD), 使用SVD需要分解用户物品评分矩阵, 但是通常该矩阵中有很多值是缺失的, 这种情况下的SVD是不可行的. 另外, 只处理已知的这些评分容易导致过拟合. 可以通过填充数据来使得矩阵变得稠密, 但是填充数据的准确性很是问题.
最主流的做法是只对那些已观测到的评分进行建模, 并且通过使用正则化项来避免过拟合, 亦即求解以下问题:
minq,p∑(u,i)∈k(rui−qTipu)2+λ(∥pu∥2+∥qi∥2)(2)
其中k是所以已知评分的用户-物品对, λ控制着正则化的程度.
2. 学习算法
两种常用的求解上式的算法为随机梯度下降(SGD)和ALS(Alternating Least Square).
2.1 随机梯度下降
对于每个用户-物品评分, 计算预测误差
eui=rui−qTipu
然后按照梯度下降的方向更新用户和物品的隐向量:
qi←qi+γ⋅(eui⋅u−λ⋅qi)
pu←pu+γ⋅(eui⋅qi−λ⋅u)
2.2 ALS(Alternating Least Square)
因为pu和qi都是未知的, 所以公式2不是凸的. 但是, 当我们固定其中一个变量, 则2式变成一个二次函数, 能够被最优的求解. 所以ALS算法的思想就是交替的固定pu和qi, 然后求解另外一个变量的二次函数的最优值.
通常SGD都会比ALS要简单而且快速, 但是ALS的并行性比较好, 而且可以较好地处理稀疏数据(?).
3. 添加偏置项
矩阵分解方法的一个好处就是可以灵活的添加许多面向应用的要求. 比如, 通常来说, 不同用户的评分倾向不同, 用的用户的打分普遍较高, 有的普遍较低, 物品亦然. 所以仅仅使用用户和物品之间的交互qTipu来对评分进行建模不是很好, 还需要加上一些偏置项. 一种一阶偏置项近似为:
bui=μ+bi+bu
其中μ描述的是所有评分的平均值, bu,bi描述的是用户和物品相对于μ的偏差.
评分模型为:
rui^=μ+bi|bu+qTipu
转化为最优化问题为:
minp⋅,q⋅,b⋅∑(u,i)∈k(rui−μ−bu−bi−pTuqi)2+λ(∥pu∥2+∥qi∥2+b2u+b2i)
4. 其他的输入源
当解决冷启动问题时, 用户的评分信息很少, 这时候就需要使用用户的其他输入信息, 比如用户隐式反馈(浏览, 购买历史等). 令N(u)表示用户有隐反馈的物品. 系统可以通过这些物品来对用户建模, 亦即把每个物品表示成一个隐向量xi∈Rf, 则用户可以通过下式来描述:
∑i∈N(u)xi
可以对上式进行正则化:
|N(u)|−0.5∑i∈N(u)xi
也可以使用用户的一些其他属性(性别, 年龄, 收入等)来对用户建模, 令Au表示用户的一些布尔属性,则隐向量ya∈Rf表示用户的某个属性, 用户的所有属性可以通过下式来描述:
∑a∈A(u)ya
用户对物品的评分可以表示为:
rui^=μ+bi|bu+qTi[pu+|N(u)|−0.5∑i∈N(u)xi+∑a∈A(u)ya]
5. 时间因素
到现在为止, 模型是静态的, 但是实际中物品的流行程度会随着时间变化, 用户的评分倾向也会变化, 用户的隐向量也会随时间变化. 所以可以将这些变量表示成时间的函数来更好地描述这些现象:
r^ui=μ+bi(t)+bu(t)+qTipu(t)
6. 不同可信度的输入源
不同的评分的可信度不同. 比如广告会影响某个物品的评分, 另外, 有些作弊的用户会对某些物品恶意的打高分或者低分. 另外, 在使用隐式反馈时, 可以使用某些行为(比如浏览)等得次数来表示用户喜欢某个物品的程度. 可以通过为某个评分rui设置权重cui来解决上述问题:
minp⋅,q⋅,b⋅∑(u,i)∈k(cui(rui−μ−bu−bi−pTuqi)2+λ(∥pu∥2+∥qi∥2+b2u+b2i)
参考文献:
[1]. Yuhuda Koren, Robert Bell and Chris Volinsky. Matrix Factorization Techniques for Recommender Systems.