《机器学习实战》学习笔记——第14章 利用SVD简化数据

一. SVD 

1. 基本概念：

（1）定义：提取信息的方法：奇异值分解Singular Value Decomposition（SVD）

（2）优点：简化数据， 去除噪声，提高算法的结果

（3）缺点：数据转换难以想象，耗时，损失特征

（4）适用于：数值型数据

2. 应用：

（1）隐性语义索引（LSI/LSA）

（2）推荐系统

3. 原理——矩阵分解

将原始的数据集矩阵data(m*n)分解成三个矩阵U(m*n), Sigma(n*m), VT(m*n):

对于Sigma矩阵:

•  该矩阵只用对角元素，其他元素均为零
• 对角元素从大到小排列。这些对角元素称为奇异值，它们对应了原始数据集矩阵的奇异值
• 这里的奇异值就是矩阵data特征值的平方根。 
• 在某个奇异值的数目（ 1个 ）之后，其他的奇异值都置为0。这就意味着数据集中仅有r个重要特征，而其余特征则都是噪声或冗余特征。 
  • 确认r——启发式策略
    • 保留矩阵中90%的能量信息，将奇异值平方和累加加到90%
    • 若有上万奇异值，则保留2-3k

4. 实现：

Numpy中称为linalg的线性代数工具：la.svd()

import numpy as np
from numpy impot linalg as la

data = np.array([[4, 4, 0, 2, 2],
           [4, 0, 0, 3, 3],
           [4, 0, 0, 1, 1],
           [1, 1, 1, 2, 0],
           [2, 2, 2, 0, 0],
           [1, 1, 1, 0, 0],
           [5, 5, 5, 2, 0]])

U, Sigma, VT  = la.svd(data)

二、推荐系统实现

2.1. 基于协同过滤的推荐系统（Collaborate Filtering）

　　协同过滤是通过将用户和其他用户的数据进行对比来实现推荐的。

 2.1.1 相似度计算

　　1. 欧式距离（0~1）：

　　　　相似度 = 1/ (1 + 距离)

　　2. 皮尔逊相关系数(Pearson correlation):

　　　　

• 介绍：http://mines.humanoriented.com/classes/2010/fall/csci568/portfolio_exports/sphilip/pear.html
• 该方法相对于欧氏距离的一个优势在于，它对用户评级的量级并不敏感。比如某个狂躁者对所有物品的评分都是5分 ，而另一个忧郁者对所有物品的评分都是1分，皮尔逊相关系数会认为这两个向量是相等的。
• 皮尔逊相关系数的计算是由Numpy中的corrcoef()函数，他的取值范围在：(-1~1)
• 后面我们很快就会用到它了。皮尔逊相关系数的取值范围从-1到+1，
• 我们通过0.5 + 0 . 5 * corrcoef()把其取值范围归一化到0到 1之间。

3. 余弦相似度（cosine similarity）

　　　　

其中，在Numpy中计算范数的公式：linalg.norm()

def ecludSim(inA,inB):
    return 1.0/(1.0 + la.norm(inA - inB))  #计算向量的第二范式,相当于直接计算了欧式距离

def pearsSim(inA, inB):
    if len(inA) < 3:
        return 1.0
    return 0.5 + 0.5 * corrcoef(inA, inB, rowvar=0)[0][1]  
# corrcoef直接计算皮尔逊相关系数

def cosSim(inA, inB):
    num = float(inA.T * inB)
    denom = la.norm(inA) * la.norm(inB)
    return 0.5 + 0.5 * (num/denom)

上面的相似度计算都是假设数据采用了列向量方式进行表示。如果利用上述函数来计算两个行向量的相似度就会遇到问题（我们很容易对上述函数进行修改以计算行向量之间的相似度)。这里采用列向量的表示方法，暗示着我们将利用基于物品的相似度计算方法。 

2.1.2 基于物品的相似度还是基于用户的相似度？ 

行与行之间比较的是基于用户的相似度，列与列之间比较的则是基于物品的相似度。

到底使用哪一种相似度呢？这取决于用户或物品的数目。基于物品相似度计算的时间会随物品数量的增加而增加，基于用户的相似度计算的时间则会随用户数量的增加而增加。如果我们有一个商店，那么最多会有几千件商品。在撰写本书之际，最大的商店大概有100 000件商品。而在61!«大赛中，则会有480 000个用户和17 700部电影。如果用户的数目很多，那么我们可能倾向于使用基于物品相似度的计算方法。对于大部分产品导向的推荐引擎而言，用户的数量往往大于物品的数量，即购买商品的用户数会多于出售的商品种类。 

2.1.3 推荐系统的评价

• 采用交叉测试的方法。具体的做法就是，我们将某些已知的评分值去掉，然后对它们进行预测，最后计算预测值和真实值之间的差异。 
• 评价的指标是称为最小均方根误差（ RootMeanSquaredError, RMSE ) 的指标。
  • 它首先计算均方误差的平均值然后取其平方根。
  • 如果评级在1星到5星这个范围内，而我们得到的为1.0,那么就意味着我们的预测值和用户给出的真实评价相差了一个星级。 

2.1.4 实现：

def loadExData():
    return[[4, 4, 0, 2, 2],
           [4, 0, 0, 3, 3],
           [4, 0, 0, 1, 1],
           [1, 1, 1, 2, 0],
           [2, 2, 2, 0, 0],
           [1, 1, 1, 0, 0],
           [5, 5, 5, 2, 0]]

def loadExData2():
    return[[0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 5],
           [0, 0, 0, 3, 0, 4, 0, 0, 0, 0, 3],
           [0, 0, 0, 0, 4, 0, 0, 1, 0, 4, 0],
           [3, 3, 4, 0, 0, 0, 0, 2, 2, 0, 0],
           [5, 4, 5, 0, 0, 0, 0, 5, 5, 0, 0],
           [0, 0, 0, 0, 5, 0, 1, 0, 0, 5, 0],
           [4, 3, 4, 0, 0, 0, 0, 5, 5, 0, 1],
           [0, 0, 0, 4, 0, 4, 0, 0, 0, 0, 4],
           [0, 0, 0, 2, 0, 2, 5, 0, 0, 1, 2],
           [0, 0, 0, 0, 5, 0, 0, 0, 0, 4, 0],
           [1, 0, 0, 0, 0, 0, 0, 1, 2, 0, 0]]


# 协同过滤算法
# dataMat 用户数据 user 用户 simMeas 相似度计算方式 item 物品
def standEst(dataMat, user, simMeas, item):
    n = shape(dataMat)[1]  # 计算列的数量，物品的数量
    simTotal = 0.0
    ratSimTotal = 0.0
    for j in range(n):
        userRating = dataMat[user, j]
        print(dataMat[user, j])
        if userRating == 0: 
            continue  # 如果用户u没有对物品j进行打分，那么这个判断就可以跳过了
        overLap = nonzero(logical_and(dataMat[:, item] > 0, dataMat[:, j] > 0))[0]  # 找到对物品 j 和item都打过分的用户
        if len(overLap) == 0:
            similarity = 0
        else:
            similarity = simMeas(dataMat[overLap, item], dataMat[overLap, j])  # 利用相似度计算两个物品之间的相似度

        print('the %d and %d similarity is: %f' % (item, j, similarity))
        simTotal += similarity
        ratSimTotal += similarity * userRating  # 待推荐物品与用户打过分的物品之间的相似度*用户对物品的打分
    if simTotal == 0:
        return 0
    else:
        return ratSimTotal / simTotal

def recommand(dataMat, user, N=3, simMeas=pearsSim, estMethod=standEst):
    unratedItem = nonzero(dataMat[user, :]==0)[0]
    if len(unratedItem) == 0:
        return  'You rated everything'
    else:
        itemScores=[]
        # 对于为评分的item，对他进行评分
        for item in unratedItem:
            estimatedScore = standEst(dataMat, user, simMeas, item)
            itemScores.append((item, estimatedScore))
    itemScores = sorted(itemScores, key=lambda jj: jj[1], reverse=True)[:N]
    print(itemScores)


data = array(loadExData())
recommand(data, 2)
        

2.2 利用SVD实现推荐

2.2.1 选取Sigma奇异值个数r:

# 获取数据：
data = np.array(loadExData2())

# SVD 分解
U, Sigma, VT = la.svd(data)

# 计算取几个奇异值
# 计算90%能量：487.83
Sig2 = Sigma ** 2
s = sum(Sig2) * 0.9

# 计算前两个奇异值包含能量:378（<487.83）
sum(Sig2[:2])

# 计算前三个奇异值包含能量:500(>487)
sum(Sig2[:3])
#所以选择前三个就可以了

2.2.2 用SVD实现推荐系统：

#  利用SVD实现推荐系统
def svdEst(dataMat, user, simMeas, item):
    n = shape(dataMat)[1]
    simTotal = 0.0
    ratsimTotal = 0.0
    U, Sigma, VT = la.svd(dataMat)
    Sig4 = array(eye(4) * Sigma[:4])
    xformedItems = dot(dot(dataMat.T, U[:, :4]), Sig4)

    for j in range(n):
        userRating = dataMat[user, j]
        if userRating == 0 or j == item:
            continue
        similarity = simMeas(xformedItems[item, :].T, xformedItems[j, :].T)
        simTotal += similarity
        ratsimTotal += userRating * similarity
    if simTotal == 0:
        return 0
    else:
        return ratsimTotal/simTotal

def recommand(dataMat, user, N=3, simMeas=pearsSim, estMethod=standEst):
    unratedItem = nonzero(dataMat[user, :]==0)[0]
    if len(unratedItem) == 0:
        return  'You rated everything'
    else:
        itemScores=[]
        # 对于为评分的item，对他进行评分
        for item in unratedItem:
            estimatedScore = svdEst(dataMat, user, simMeas, item)
            itemScores.append((item, estimatedScore))
    itemScores = sorted(itemScores, key=lambda jj: jj[1], reverse=True)[:N]
    print(itemScores)


data = array(loadExData())
recommand(data, 2)

最后结果：

2.3 冷启动问题

推荐引擎面临的另一个问题就是如何在缺乏数据时给出好的推荐。这称为冷启动问题，处理起来十分困难。

冷启动问题的解决方案，就是将推荐看成是搜索问题。在内部表现上，不同的解决办法虽然有所不同，但是对用户而言却都是透明的。为了将推荐看成是搜索问题，我们可能要使用所需要推荐物品的属性。在餐馆菜肴的例子中,我们可以通过各种标签来标记菜肴，比如素食、美式88、价格很贵等。同时，我们也可以将这些属性作为相似度计算所需要的数据，这被称为基于内容(content-based)的推荐。可能，基于内容的推荐并不如我们前面介绍的基于协同过滤的推荐效果好 ，但我们拥有它，这就是个良好的开始。