k-均值算法‘手写识别系统’和‘改进约会网站的配对效果’（Python） 出处：机器学习实战

Python 代码：

#准备：使用Python导入数据

from os import listdir  #从os模块中导入函数listdir，可以列出给定目录的文件名
from numpy import *
import operator #运算符module

def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) #数据集
    labels = ['A','A','B','B']   #标签
    return group,labels


#从文本文件中解析数据
#k-近邻算法

def classify0(inX,dataSet,labels,k):
    #inX:用于分类的输入变量,dataSet:输入的训练样本集,labels:标签向量，k:表示用于选择最近邻居的数目
    #其中标签向量的元素数目和矩阵dataSet的行数相同
    dataSetSize = dataSet.shape[0]
    
    #距离计算：欧式距离公式，计算两个向量点A与B之间的距离
    #     ((A0 - B0) ** 2+(A1 - B1) ** 2) ** 0.5
    diffMat = tile(inX,(dataSetSize,1)) - dataSet
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances ** 0.5

    #按照距离递增次序排序
    sortedDistIndicies = distances.argsort()
    
    classCount = {}

    #选择距离最小的k个点
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 #get()函数返回指定键的值，如果值不在字典中返回默认值

    #itemgetter函数用于获取对象哪些维的数据，参数为序号。然后进行排序，按从大到小排序，最后返回发生频率最高的元素标签
    sortedClassCount = sorted(classCount.items(),key = operator.itemgetter(1),reverse = True)
    return sortedClassCount[0][0]

#准备数据：从文本文件中解析数据
#datingTestSet.txt
#数据特征：每年飞行里程数，玩视频游戏所耗时间百分比，每周的冰淇淋公升数
#标签向量：largeDoses、smallDoses、didntLike
#创建file2matrix函数，输入为文件名字符串，输出为训练样本矩阵和标签向量

def file2matrix(filename):

    #得到文件行数
    fr = open(filename)
    arrayOLines = fr.readlines()
    #获得长度
    numberOfLines = len(arrayOLines)

    #创建返回的Numpy矩阵，用零填充
    returnMat = zeros((numberOfLines,3)) #zeros()函数创建矩阵，参数为（行数，列数）
    classLabelVector = []
    index = 0

    #解析文件数据到列表
    for line in arrayOLines:
        line = line.strip()  #strip()函数截取所有的回车字符
        listFromLine = line.split('	')  #tab字符将上一步得到的整行数据分割成一个元素列表
        returnMat[index,:] = listFromLine[0:3]  #选取前3个元素存储到特征矩阵中
        classLabelVector.append(int(listFromLine[-1]))  #索引值-1表示列表中的最后一列元素
        index += 1
    return returnMat,classLabelVector


#分析数据：使用Matplotlib创建散点图

import matplotlib
import matplotlib.pyplot as plt
#datingDataMat,datingLabels = kNN.file2matrix ('datingTestSet2.txt')
#fig = plt.figure()
#ax = fig.add_subplot(111) 111的意思是将画布分割成1行1列，第1块
#ax.scatter(datingDataMat[:,0],datingDataMat[:,2],15.0 * array(datingLabels),15.0 * array(datingLabels))
#plt.show()


#归一化特征值

def autoNorm(dataSet):
    minVals = dataSet.min(0)  #得到给定数据集当前列特征最小值
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals 
    normDataSet = zeros(shape(dataSet))
    m = dataSet.shape[0]
    
    #使用tile()函数将变量内容复制成输入矩阵同样大小的矩阵
    normDataSet = dataSet - tile(minVals,(m,1))

    #特征值相除
    normDataSet = normDataSet/tile(ranges,(m,1))
    return normDataSet,ranges,minVals

#分类器针对约会网站的测试代码

def datingClassTest():
    hoRatio = 0.01      #hold out 10%
    datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')       #load data setfrom file
    normMat, ranges, minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    numTestVecs = int(m*hoRatio)
    errorCount = 0.0
    for i in range(numTestVecs):
        classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)
        print ("the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i]))
        if (classifierResult != datingLabels[i]): errorCount += 1.0
    print ("the total error rate is: %f" % (errorCount/float(numTestVecs)))
    print (errorCount)
        
        

#约会网站预测函数：输入信息，进行预测
def classifyPerson():
    resultList = ['not at all','in small doses','in large doses']
    
    percentTats = float(input('percentage of time spent playing video games?'))
    ffMiles = float(input('frequent flier miles eraned per year?'))
    iceCream = float(input('liters of ice cream consumed per year?'))

    datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')
    normMat,ranges,minVals = autoNorm(datingDataMat)
    inArr = array([ffMiles,percentTats,iceCream])
    classifierResult = classify0((inArr-minVals)/ranges,normMat,datingLabels,3)
    print('You will probable like this person:',resultList[classifierResult - 1])

    



#手写识别系统
#准备数据：将图像转换为测试向量(图像格式化处理为一个向量)
#将32*32的图像矩阵转换为1*1024的向量

#创建1*1024的Numpy数组，打开给定的文件，循环读出文件的前32行，并将每行的头32个字符值存储在NUmpy数组中，最后返回数组
def img2vector(filename):
    returnVect = zeros((1,1024))
    fr = open(filename)
    for i in range(32):
        lineStr = fr.readline()
        for j in range(32):
            returnVect[0,32 * i + j] = int(lineStr[j])
    return returnVect
    #testVector[0,0:31] 为第一行数据

#测试算法:使用k-近邻算法识别手写数字

def handwritingClassTest():
    
    #获取文件目录
    hwLabels = []
    trainingFileList = listdir('digits/trainingDigits')
    
    m = len(trainingFileList)
    trainingMat = zeros((m,1024)) #该矩阵每行数据存储一个图像
    for i in range(m):
        #从文件名解析分类数据
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        
        hwLabels.append(classNumStr)
        trainingMat[i,:] = img2vector('digits/trainingDigits/%s' % fileNameStr)
    testFileList = listdir('digits/testDigits')
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('digits/testDigits/%s' % fileNameStr)
        classifierResult = classify0(vectorUnderTest,trainingMat,hwLabels,3)
        print('the classifier came back with: %d, the real answer is: %d' % (classifierResult,classNumStr))
        if (classifierResult != classNumStr):
            errorCount += 1.0
    print('
the total number of errors is: %d' % errorCount)
    print('
the total error rate is: %f' % (errorCount/float(mTest)))    
        

运行效果

 

约会配对的效率还不错，达到了5%。

这个算法效率并不高，最后一张图2000次距离计算，900次1024个维度浮点计算，等了我好长时间，但效果还不错，字体识别成功率为1.1628%，这个成功率很牛逼了。

约会配对和字体识别数据百度网盘见。。。。。

链接：http://pan.baidu.com/s/1slqa85f 密码：dcr8