Python数据挖掘—聚类—KMeans划分法

概念

• 聚类分析：是按照个体的特征将它们分类，让同一个类别内的个体之间具有较高的相似度，不同类别之间具有较大差异性
• 无分类目标变量(Y)——无监督学习

K-Means划分法、DBSCAN密度法、层次聚类法

1、导入数据

import pandas
from sklearn.cluster import KMeans
from sklearn.decomposition import PCA

import matplotlib.pyplot as plt

f=open("D:\学习资料\Python数据挖掘实战课程课件\7.1\data.csv",encoding='UTF-8')
data=pandas.read_csv(f)

fColumns=[
    '工作日上班时电话时长', '工作日下半时电话时长', 
    '周末电话时长', 
    '国际电话时长', '总电话时长', '平均每次通话时长'
]

2、确定特征变量，特征变量之间的相关系数，确定因变量，重新确定特征变量

import matplotlib
from pandas.tools.plotting import scatter_matrix

font={
      "family":"SimHei"}

matplotlib.rc("font",**font)
matplotlib.rcParams["axes.unicode_minus"]=False

#%matplotlib qt

scatter_matrix(
        data[fColumns],
        figsize=(10,10),diagonal="hist")


dCorr=data[fColumns].corr()


fColumns=[
    '工作日上班时电话时长', '工作日下半时电话时长', 
    '周末电话时长', 
    '国际电话时长', '平均每次通话时长'
]

3、降维、设定质心

#降维
pca_2=PCA(n_components=2)
data_pca_2=pandas.DataFrame(
        pca_2.fit_transform(data[fColumns]))

plt.scatter(
        data_pca_2[0],
        data_pca_2[1])


kmModel=KMeans(n_clusters=3)
kmModel=kmModel.fit(data[fColumns])

4、对图像分类并画图

#对图像进行分类
pTarget=kmModel.predict(data[fColumns])

pandas.crosstab(pTarget,pTarget)  #看每类别的个数


plt.scatter(
        data_pca_2[0],
        data_pca_2[1],
        c=pTarget
        )

5、不同特征量之间的相关性

dMean=pandas.DataFrame(columns=fColumns+["分类"])
data_gb=data[fColumns].groupby(pTarget)

i=0
for g in data_gb.groups:
    print(g)
    rMean=data_gb.get_group(g).mean()    #rMean是一个series结构
    print(rMean)
    rMean["分类"]=g        #在最后追加一行
    dMean=dMean.append(rMean,ignore_index=True)   #将series添加在dataframe中
    subData=data_gb.get_group(g)  
    for column in fColumns:
        print(column)
        i=i+1
        p=plt.subplot(3,5,i)
        p.set_title(column)
        p.set_ylabel(str(g)+"分类")
        plt.hist(subData[column],bins=20)

K—mans

k：聚类算法当中的个数

means：均值算法

K-Means：使用均值算法把数据分成K个类的算法

算法目标：

是把n个样本点划分到k个类中，使得每个点都属于离它最近的质心对应的类，以之作为聚类的标准

质心

是指一个类，内部所有样本点的均值

计算步骤

第一步：取得K个初始质心：从数据中随机抽取k个点作为初始聚类的中心，由这个中心代表各个类

第二步：把每个点划分进相应的类：根据欧式距离最小原则，把每个点划分配进距离最近的类中

第三步：重新计算质心：根据均值等方法，重新计算每个类的质心

 

第四步：迭代计算质心：重复第二步和第三部，迭代计算质心

第五步：聚类完成：聚类中心不再发生移动

fit_transform是fit和transform的组合。

 我们知道fit（x，y）在新手入门的例子中比较多，但是这里的fit_transform(x)的括号中只有一个参数，这是为什么呢？

fit(x,y)传两个参数的是有监督学习的算法，fit(x)传一个参数的是无监督学习的算法，比如降维、特征提取、标准化

然后解释为什么出来fit_transform（）这个东西，下面是重点：

fit和transform没有任何关系，仅仅是数据处理的两个不同环节，之所以出来这么个函数名，仅仅是为了写代码方便，

所以会发现transform（）和fit_transform（）的运行结果是一样的。

注意：运行结果一模一样不代表这两个函数可以互相替换，绝对不可以！！！

transform函数是一定可以替换为fit_transform函数的

fit_transform函数不能替换为transform函数！！！理由解释如下：

 sklearn里的封装好的各种算法都要fit、然后调用各种API方法，transform只是其中一个API方法，所以当你调用除transform之外的方法，必须要先fit，为了通用的写代码，还是分开写比较好 

也就是说，这个fit相对于transform而言是没有任何意义的，但是相对于整个代码而言，fit是为后续的API函数服务的，所以fit_transform不能改写为transform。

--------------------- 本文来自 陈士林 的CSDN 博客 ，全文地址请点击：https://blog.csdn.net/appleyuchi/article/details/73503282?utm_source=copy