pca算法实现

pca基础知识不了解的可以先看下一这篇博客：https://www.cnblogs.com/lliuye/p/9156763.html

 

 具体算法实现如下：

import numpy as np
import matplotlib.pyplot as plt
# 载入数据
data = np.genfromtxt("data.csv", delimiter=",")
x_data = data[:,0]
y_data = data[:,1]
plt.scatter(x_data,y_data)
plt.show()
print(x_data.shape)
# 数据中心化
def zeroMean(dataMat):
    # 按列求平均，即各个特征的平均
    meanVal = np.mean(dataMat, axis=0)
    newData = dataMat - meanVal
    return newData, meanVal
newData,meanVal=zeroMean(data)
print(newData.shape)
# np.cov用于求协方差矩阵，参数rowvar=0说明数据一行代表一个样本,若非0，说明传入的数据一列代表一个样本。
covMat = np.cov(newData, rowvar=0)#因为是行作为样本，所以列作为特征，得到的协方差是2*2
# 协方差矩阵
print(covMat)
# np.linalg.eig求矩阵的特征值和特征向量
eigVals, eigVects = np.linalg.eig(np.mat(covMat))
# 特征值
print(eigVals)
# 特征向量
print(eigVects.shape)
# 对特征值从小到大排序
eigValIndice = np.argsort(eigVals)
eigValIndice
top = 1
# 最大的n个特征值的下标
n_eigValIndice = eigValIndice[-1:-(top+1):-1]
print(n_eigValIndice)
# 最大的n个特征值对应的特征向量
n_eigVect = eigVects[:,n_eigValIndice]
print(n_eigVect.shape)
# 低维特征空间的数据
lowDDataMat = newData*n_eigVect#原始数据投射到选取的特征向量上
print(lowDDataMat.shape)#低纬数据
# 利用低纬度数据来重构数据
reconMat = (lowDDataMat*n_eigVect.T) + meanVal#降维的逆操作
reconMat
# 载入数据
data = np.genfromtxt("data.csv", delimiter=",")
x_data = data[:,0]
y_data = data[:,1]
plt.scatter(x_data,y_data)

# 重构的数据
x_data = np.array(reconMat)[:,0]
y_data = np.array(reconMat)[:,1]
plt.scatter(x_data,y_data,c='r')
plt.show()

plt.show()

 关于np.cov的用法详细如下：

1. np.cov(x)

 

x=[1,2,3,4]
np.cov(x)12

输出为 array(1.6666666666666665)，一开始我以为当x为一个行向量时，cov(x)计算的就是x的方差。但是通过观察发现

 

np.var(x)*4     #output:5
np.cov(x)*3     #output:512

np.cov(x)这种情况计算的是x方差的无偏估计，即s2=∑ni=1(x−x^)n−1s2=∑i=1n(x−x^)n−1，而np.var(x)计算的则是s2=∑ni=1(x−x^)ns2=∑i=1n(x−x^)n

接着我们再假设x为一个4*3的矩阵

 

X=np.array([[1 ,5 ,6] ,[4 ,3 ,9 ],[ 4 ,2 ,9],[ 4 ,7 ,2]])
np.cov(x)12

首先不同于matlab。在numpy中，将x的每一列视作一个独立的变量，因此这里一共有4个3维的变量，因此将会输出一个4*4的协方差矩阵
 
其中对角线元素是每个维度的方差，非对角线上的元素则是不同维度间的协方差。

2. np.cov(x,y)

在学习的过程中还有一点比较困惑的是np.cov(x)和np.cov(x,y)的区别，以下用代码来进行说明：

 

X=np.array([[1 ,5 ,6] ,[4 ,3 ,9 ],[ 4 ,2 ,9],[ 4 ,7 ,2]])
x=X[0:2]
y=X[2:4]
print(np.cov(X))
print(np.cov(x,y))12345

输出为
 
可以看出两者的输出是相同的。因此所谓的np.cov(X)其实就是把np.cov(x,y)中两个变量所有的维度纵向拼接在一起作为X参与运算。