[python]机器学习 k-mean 聚类分析

1.聚类代码：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @File  : 聚类2.py
# @Author: 赵路仓
# @Date  : 2020/3/19
# @Desc  :
# @Contact : 398333404@qq.com 

import csv
import re
import jieba.analyse
from sklearn.cluster import KMeans
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.feature_extraction.text import CountVectorizer

labels = []
corpus = []  # 空语料库
# 这是三个要处理的文本 csv格式 需要修改
f = csv.reader(open("E:/Jingjinji3.csv", 'r+', encoding='utf-8'))
f1 = csv.reader(open("E:/Tianjin3.csv", 'r+', encoding='utf-8'))
f2 = csv.reader(open("E:/Hebei3.csv", 'r+', encoding='utf-8'))
count = 0

# 三个文件依次读取
for i in f:
    count += 1
    if count == 1:
        continue
    # 成果名称所在的列，从0开始 下面相同，需要修改
    labels.append(i[1])
    # 关键字所在的列 从0开始 下面相同，需要修改
    corpus.append(i[24])

for i in f1:
    count += 1
    if count == 1:
        continue
    labels.append(i[2])
    corpus.append(i[20])

for i in f2:
    count += 1
    if count == 1:
        continue
    labels.append(i[1])
    corpus.append(i[19])

vectorizer = CountVectorizer()  # 该类会将文本中的词语转换为词频矩阵，矩阵元素a[i][j] 表示j词在i类文本下的词频 
transformer = TfidfTransformer()  # 该类会统计每个词语的tf-idf权值
tfidf = transformer.fit_transform(
    vectorizer.fit_transform(corpus))  # 第一个fit_transform是计算tf-idf，第二个fit_transform是将文本转为词频矩阵
weight = tfidf.toarray()  # 将tf-idf矩阵抽取出来，元素a[i][j]表示j词在i类文本中的tf-idf权重
word = vectorizer.get_feature_names()  # 获取词袋模型中的所有词

for i in range(len(labels)):  # 打印每类文本的tf-idf词语权重，第一个for遍历所有文本，第二个for便利某一类文本下的词语权重
    print(u"-------这里输出第", i, u"类文本的词语tf-idf权重------")
    list = weight[i].tolist()
    print(word[list.index(max(list))], max(weight[i]))

# 可以修改，n_clusters 要聚类的类数，n_init 初始化质心的迭代次数 init 选择为随机选取质心 n_jobs并发运行 5
mykms = KMeans(n_clusters=100, max_iter=300, n_init=100,
               init='k-means++', n_jobs=5)
y = mykms.fit_predict(weight)

# 要写入的文件，可以修改
f = csv.writer(open("E:/result.csv", 'w', encoding='utf-8', newline=''))
f.writerow(["类别", "名称", "领域"])
f = csv.writer(open("E:/result.csv", 'a+', encoding='utf-8', newline=''))

# 标签用0-100的数组区分
for i in range(0, 20):
    label_i = []
    for j in range(0, len(y)):
        if y[j] == i:
            label_i.append(labels[j])
    text = " ".join(label_i)
    Key = jieba.analyse.extract_tags(text, topK=5)
    print(Key)
    print('label_' + str(i) + ':', len(label_i), str(label_i))

    for a in label_i:
        f.writerow([str(i), a, ' '.join(Key)])

函数以及用法见代码。