PCA/SVD--怎样确定topNfeat(特征值数目/奇异值数目)

Coding by Chang, 2017/04/30

1.主成分分析（PCA）

1.1 PCA数学模型

　　最大可分性出发（参考《机器学习》周志华）：样本点在超平面上的投影能尽可能分开。

　　即应该使投影后样本点的方差最大化：

　　　　maxtr(W^TXX^TW)     s.t. W^TW=I

　　这个目标函数可以通过对协方差矩阵XX^T做特征值分解求得转换矩阵W.

　　降维原理：在W对应的开始r个主成分之后，方差就会迅速下降。这意味着数据集X中只有r个重要特征。

1.2 实践中确定topNfeat数目方法：

　　在选择开始几个主成分后，方差就会迅速下降，可以通过计算方差百分比来确定topNfeat的具体数目。

　　方差百分比=sum(the selected eigvals)/sum(all eigVals)

　 修改pca主函数为如下

def pca(dataMat,topNfea=9999999):
    meanVals=mean(dataMat,axis=0)            
    meanRemoved=dataMat-meanVals
    covMat=cov(meanRemoved,rowvar=0)      
    eigVals,eigVects=linalg.eig(mat(covMat)) 
    eigValInd=argsort(eigVals)
    eigValInd=eigValInd[:-(topNfea+1):-1]
    ###
        #确定topNfea数目
    sumOfEigVals=sum(eigVals)
    total=0.0
    for j in range(topNfea):
        total+=eigVals[eigValInd[j]]
        percent=total/sumOfEigVals
        if percent>0.98:
             print 'the number of eigVals: %d, var: %f' %(j,percent)
             print 'the best number of topNfeat:' ,j
             break
        print 'the number of %d has occupied %f' %(j,percent)
    #
        #取前20个特征值画方差变化图
     fig = plt.figure()
     ax=fig.add_subplot(111)
     percentFeat=eigVals[eigValInd][0:20]/sumOfEigVals
     x=arange(20)
     ax.plot(x,percentFeat,'o-',c='r')
     plt.xlabel('the number of princple feature')
     plt.ylabel('var percent(%)')
     plt.grid()
     plt.show()
        ###
        #取j+1个对应的特征向量，组成转换矩阵redEigVects
    redEigVects=eigVects[:,eigValInd[:j]]        lowDDataMat=meanRemoved*redEigVects      
    reconMat=(lowDDataMat*redEigVects.T)+meanVals    
    return lowDDataMat,reconMat              #返回降维矩阵和重构矩阵

　　得到结果图：

2.奇异值分解（SVD）

2.1 SVD数学模型为：

　　　　X_m×n=U_m×mΣ_m×nV^T_n×n

　　Σ矩阵的对角元素称为“奇异值”。

　　Σ矩阵的两个特点：只有对角元素，其他元素为0；对角元素从大到小排列；

　　降维原理：在r个奇异值之后，其他的奇异值都置为0. 这意味着数据集X中只有r个重要特征。

2.2 利用python实现SVD

　　依赖库：python内部线性代数工具箱 numpy.linalg

　　实现方法：linalg.svd()

　　

　　注意：Σ是对角矩阵，但是它“只返回对角元素”，节省空间。

3.特征值与奇异值之间的关系

　　奇异值就是矩阵X*X^T特征值的平方根。

未完待续。。。