python实现k-近邻算法

参考：《机器学习实战》- Machine Learning in Action

一、 必备的包

实现此算法需要准备以下的包：

• matplotlib，用于绘图

• numpy，数组处理库

我一般是用pip安装，若不熟悉这些库，可以搜索一下它们的简单教程。

二、 基本思想

 假设存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签。输入测试数据后，通过采用测量不同特征值之间的距离进行分类，即挑选前k个最相似的样本数据。最后，选择k个最相似数据中出现次数最多的分类，作为测试数据的分类结果。

 伪代码：

• 计算已知类别数据集中的点与当前点的距离；
• 按照距离递增次序排序；
• 选取与当前点距离最小的k个点；
• 确定前k个点所在类别的出现频率；
• 返回频率最高的类别作为预测分类。

一般而言，计算距离会采用欧式距离。

三、 代码

背景：有一个约会网站，交往对象总结下来可以分成三种类型：不喜欢的人，魅力一般的人，极具魅力的人。若提供了样本为，三个特征：每年获得的飞行常客里程数，玩视频游戏所耗百分比，每周消费的冰淇淋升数，以及给出所属的类型。
样本文件为：datingTestSet.txt

 代码如下：

# -*- coding:utf-8 -*-
from numpy import *
import matplotlib
import matplotlib.pyplot as plt

#---简单的二维分类器---#
def createDataSet():
	group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
	labels = ['A','A','B','B']
	return group, labels


def classify0(inX, dataSet, labels, k):
	dataSetSize = dataSet.shape[0] #得到行数
	diffMat = tile(inX, (dataSetSize,1)) - dataSet #沿维度重复
	sqDiffMat = diffMat**2 #矩阵每个元素平方
	sqDistances = sqDiffMat.sum(axis=1) #将每行相加
	distance = sqDistances**0.5 #开方
	sortedDistIndicies = distance.argsort()
	classCount = {}
	for i in range(k):
		voteIlabel = labels[sortedDistIndicies[i]]
		classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
	sortedClassCount = sorted(classCount.items(), 
		key=lambda item:item[1], reverse=True) #参数1是可迭代对象，参数2表示用第2个域的值，参数3表示降序
	return sortedClassCount[0][0]


#---社交网络分类---#
#文件处理
def file2matrix(filename):
	fr = open(filename)
	arrayOfLines = fr.readlines()
	numberOfLines = len(arrayOfLines)
	returnMat = zeros((numberOfLines, 3))
	classLabelVector = []
	index = 0
	for line in arrayOfLines:
		line = line.strip()
		listFromLine = line.split('	')
		returnMat[index,:] = listFromLine[0:3]
		if listFromLine[-1].startswith('large'):
			classLabelVector.append(3)
		elif listFromLine[-1].startswith('small'):
			classLabelVector.append(2)
		else:
			classLabelVector.append(1)
		
		index += 1
	return returnMat, classLabelVector


#对数据进行归一化处理
def autoNorm(dataSet):
	minVals = dataSet.min(0) #得到每个特征的最小值
	maxVals = dataSet.max(0) #得到每个特征的最大值
	ranges = maxVals - minVals
	normDataSet = zeros(shape(dataSet))
	m = dataSet.shape[0] #得到行数
	normDataSet = dataSet - tile(minVals, (m,1))
	normDataSet = normDataSet/tile(ranges, (m,1))
	return normDataSet, ranges, minVals


#对模型进行测试
def datingClassTest():
	hoRatio = 0.10
	datingDataMat, datingLabels = file2matrix('datingTestSet.txt')
	normMat, ranges, minVals = autoNorm(datingDataMat)
	m = normMat.shape[0]
	numTestVecs = int(m*hoRatio)
	errorCount = 0.0
	for i in range(numTestVecs):
		classifierResult = classify0(normMat[i,:], normMat[numTestVecs:m,:], 
			datingLabels[numTestVecs:m],3)
		print "the classifier came back with: %d, the real answer is: %d" 
			% (classifierResult, datingLabels[i])
		if classifierResult != datingLabels[i]:
			errorCount += 1.0
	print "the total error rate is: %f" % (errorCount/float(numTestVecs))

#约会网站预测函数
def classifyPerson():
	resultList = ['not at all', 'in small doses', 'in large doses']
	PercentTats = float(raw_input('PercentTats of time spent playing video games?'))
	ffMiles = float(raw_input('frequent flier miles earned per year?'))
	iceCream = float(raw_input('liters of ice cream consumed per year?'))
	datingDataMat, datingLabels = file2matrix('datingTestSet.txt')
	normMat, ranges, minVals = autoNorm(datingDataMat)
	inArr = array([ffMiles, PercentTats, iceCream])
	classifierResult = classify0((inArr - minVals)/ranges, normMat, datingLabels, 3)
	print "You will probably like this person: ", 
			resultList[classifierResult - 1]
			

if __name__ == '__main__':
	#datingClassTest()
	#classifyPerson()
	testVector = img2vector('testDigits/0_13.txt')
	print testVector[0,0:31]