Python 机器学习及实践 Coding 无监督学习经典模型 数据聚类 and 特征降维

无监督学习(部分代码有错误更改中)

着重于发现数据本身的分布特点 （不需要对数据进行标记）节省大量人力 数据规模不可限量

1 发现数据群落 数据聚类 也可以寻找 离群样本

2 特征降维 保留数据具有区分性的低维特征 

这些都是在海量数据处理中非常实用的技术

数据聚类

K均值算法（预设聚类的个数 不断更新聚类中心 迭代 ，是所有数据点到其所属聚类中心距离平方和趋于稳定）

过程

①首先 随机布设K个特证空间内的点作为初始的聚类中心

②然后 对于根据每个数据的特长向量 从K个聚类中心中 寻找距离最近的一个 并且把该数据标记为从属与这个聚类中心

③接着 在所有数据都被标记了聚类中心之后 根据这些数据新分配的类簇 重新对K个聚类中心做计算

④如果一轮下来 所有数据从属的聚类中心与上一次的分配的类簇没有变化 那么迭代可以 停止 否则回到②继续循环

K-mans算法在手写体数字图像数据上的使用示例

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd

from sklearn.cluster import KMeans

#使用panda 读取训练数据集 和 测试数据集
digits_train = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/optdigits/optdigits.tra',header=None)
digits_test=pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/optdigits/optdigits.tes',header=None)

#从训练数据集与测试数据集上都分离出64维度的像素特征与1维度的数字目标
x_train=digits_train[np.arange(64)]#np.arange
y_train=digits_train[64]

x_test=digits_test[np.arange(64)]
y_test=digits_test[64]

#初始化Kmeans 模型 并设置聚类中心数量为10
kmeans=KMeans(n_clusters=10)
kmeans.fit(x_train,y_train)
y_predict=kmeans.predict(x_test)

#使用ARI 进行K-means 聚类性能评估
from sklearn import metrics
print(metrics.adjusted_rand_score(y_test,y_predict))

 性能测评：

①被用来评估的数据本身带有正确的类别信息 使用ARI ARI指标与分类问题中计算准确性的方法类似，同时也兼顾到了类簇无法和分类标记一一对应的问题

②如果被用于评估的数据没有所属类别，那么我们习惯使用轮廓系数来度量聚类结果的质量。轮廓系数同时兼顾了聚类的凝聚度和分离度

用于评估聚类的效果并取值范围为[-1,1]。轮廓系数值越大，表示聚类效果越好。

具体计算步骤如下（暂略）

利用轮廓系数评价不同类簇数量的K-maens聚类实例（改错中）

“ 肘部 ” 观察法示例

import numpy as np
from sklearn.cluster import KMeans
from scipy.spatial.distance import cdist

import matplotlib.pyplot as  plt

#使用均匀分布函数随机三个簇，每个簇周围有10个样本
cluster1=np.random.uniform(0.5,1.5,(2,10))
cluster2=np.random.uniform(5.5,6.5,(2,10))
cluster3=np.random.uniform(3.0,4.0,(2,10))

#绘制30个数据样本的分布图像
x=np.hstack((cluster1,cluster2,cluster3)).T
plt.scatter(x[:,0],x[:,1])
plt.xlabel('x1')
plt.ylabel('x2')
plt.show()

#测试9种不同聚类中心数量下 每种情况的聚类质量 并作图
K=range(1,10)
meandistotrtions=[]

for k in K:
    kmeans=KMeans(n_clusters=k)
    kmeans.fit(x)
    meandistotrtions.append(sum(np.min(cdist(x,kmeans.cluster_centers_,'euclidean'),axis=1))/x.shape[0])

plt.plot(K,meandistotrtions,'bx-')
plt.xlabel('k')
plt.ylabel('Average Dispersion')
plt.title('Selecting k with the Elbow Method')
plt.show()

输出图片：

 

 

特征降维

1实际项目中遭遇特征维度非常之高的训练样本，而往往又无法凭借自己的领域知识人工构建有效特征

2肉眼只能观测三个维度的特征 降低数据维度 同时也维数据展现提供了可能

主成分分析（PCA分析）

线性相关矩阵秩的计算样例

import numpy as np
M=np.array([[1,2],[2,4]])
np.linalg.matrix_rank(M,tol=None)

如果使用PCA分析的话 这个矩阵的 秩 是1 也就是说  在多样性程度上这个矩阵只有一个自由度

我们可以把PCA当作特征选择，只是和普通理解的不同，这种特征选择是首先把原来的特征空间做了映射，使得新的映射后特征空间的数据彼此正交。

这样一来，我们通过主成分分析就尽可能保留下具有区分性的低纬数据特征。

显示手写体数字图片经PCA压缩后的二维空间分布

import pandas as pd
import numpy as np

#导入PCA
from sklearn.decomposition import PCA
from matplotlib import pyplot as plt

#使用panda 读取训练数据集 和 测试数据集
digits_train = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/optdigits/optdigits.tra',header=None)
digits_test=pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/optdigits/optdigits.tes',header=None)

#从训练数据集与测试数据集上都分离出64维度的像素特征与1维度的数字目标
x_digits=digits_train[np.arange(64)]#np.arange
y_digits=digits_train[64]

#初始化一个可以将到尾都特征向量（六十四维）压缩值二个维度的PCA
estimator=PCA(n_components=2)
x_pca=estimator.fit_transform(x_digits)

#显示10类手写体数字图片经过PCA压缩后的2 维空间分布
def plot_scatter():
    colors=['black','blue','purple','yellow','white','red','lime','cyan','orange','gray']

    for i in range(len(colors)):
        px = x_pca[:,0][y_digits.as_matrix() ==i]
        py = x_pca[:, 1][y_digits.as_matrix() == i]
        plt.scatter(px,py,c=colors)

    plt.legend(np.arange(0,10).astype(str))
    plt.xlabel('First Principal Component')
    plt.ylabel('Second Principal Component')
    plt.show()

plot_scatter()

输出图片：

使用原始像素特征和经PCA压缩重建的低维特征，在相同配置的支持向量机（分类）模型上分别进行图像识别

import pandas as pd
import numpy as np
from sklearn.svm import LinearSVC#基于线性核函数的支持向量机分类器
#导入PCA
from sklearn.decomposition import PCA
from sklearn.metrics import classification_report

#使用panda 读取训练数据集 和 测试数据集
digits_train = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/optdigits/optdigits.tra',header=None)
digits_test=pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/optdigits/optdigits.tes',header=None)

#从训练数据集与测试数据集上都分离出64维度的像素特征与1维度的数字目标
x_train=digits_train[np.arange(64)]#np.arange
y_train=digits_train[64]

x_test=digits_test[np.arange(64)]#np.arange
y_test=digits_test[64]

#使用默认配置初始化LinearSVC 对原始六十四维像素特征的训练数据进行建模，并在测试数据上做出预测 存储在y_predict中
svc=LinearSVC()
svc.fit(x_train,y_train)
y_predict=svc.predict(x_test)

#使用PCA 将数据压缩到20个维度
estimator=PCA(n_components=20)

#利用训练特征决定（fit）20个正交维度的方向，并转化（transform）原训练特征
pca_x_train=estimator.fit_transform(x_train)
#测试特征也按照上述的20个正交维度方向进行转化
pca_x_test=estimator.transform(x_test)

#使用默认配置初始化LinearSVC 对压缩后的二十维特征的训练数据进行建模 并在测试数据上做出预测 存储在pca_y_predict 中
pca_svc=LinearSVC()
pca_svc.fit(pca_x_train,y_train)
pca_y_predict=pca_svc.predict(pca_x_test)

print(svc.score(x_test,y_test))
print(classification_report(y_test, y_predict,target_names=np.arange(10).astype(str)))

print(pca_svc.score(pca_x_test,y_test))
print(classification_report(y_test, pca_y_predict,target_names=np.arange(10).astype(str)))