最邻近规则分类(K-Nearest Neighbor)KNN算法

 自写代码：

# Author Chenglong Qian

from numpy import *     #科学计算模块
import operator                  #运算符模块

def createDaraSet():
    group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])#创建4行2列的数组
    labels=['A',"A",'B','B']#标签列表
    return group,labels

group,labels=createDaraSet()

'''k—近邻算法'''
def classify0(inX,dataSet,labels,k):     #inX:需要分类的向量,dataSet：训练样本,labels：标签,k：临近数目
    '''求距离'''
    dataSetSize=dataSet.shape[0]        #样本数据行数，即样本的数量
    diffMat=tile(inX,(dataSetSize,1))-dataSet  #（来自numpy）tile：重复数组;将inX重复dataSetSize行,1列次；获得每组数据的差值（Xi-X，Yi-Y）
    sqDiffMat=diffMat**2                       #求平方
    sqDistances=sqDiffMat.sum(axis=1)           #sum(axis=1)矩阵每一行相加，sum(axis=0)每一列相加
    distances=sqDistances**0.5                  #开根号
    sortedDistIndicies=distances.argsort()    #argsort()函数是将x中的元素从小到大排列，提取其对应的index(索引)，然后输出到y。
    classCount={}
    '''排序'''
    for i in range(k):
        voteIlabel=labels[sortedDistIndicies[i]]  #sortedDistIndicies[i]第i+1小元素的索引
        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1 #classCount.get(voteIlabel,0)返回字典classCount中voteIlabel元素对应的值,若无，则将其设为0
                                                             #这里表示记录某一标签的数量
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)#sorted（需要排序的list，key=自定义排序方式，是否反转排序结果）
                                                                                            #items 将字典以列表形式返回  （python3.5中无 ：iteritems将字典以迭代器形式返回）
                                                                                            #itemgetter函数用于获取对象的第几维的数据 operator.itemgetter(1)使用第二个元素进行排序
    return sortedClassCount[0][0]


'''把文本记录转换成矩阵Numpy的解析程序'''
def file2matrix(filename):
    fr=open(filename)
    arrayOLines=fr.readlines()              #readlines()：返回由文件中剩余的文本（行）组成的列表
    numberOfLines=len(arrayOLines)            #返回对象的长度
    returnMat=zeros((numberOfLines,3))
    classLabelVector=[]
    index=0
    for line in arrayOLines:
        line=line.strip()                   #strip() 方法用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列。
        listFromLine=line.split('	')          #split() 通过指定分隔符对字符串进行切片
        returnMat[index,:]=listFromLine[0:3]
        classLabelVector.append(int(listFromLine[-1]))
        index+=1
    return returnMat,classLabelVector

库代码

from sklearn import neighbors
from sklearn import datasets

knn = neighbors.KNeighborsClassifier()

iris = datasets.load_iris()

print iris

knn.fit(iris.data, iris.target)

predictedLabel = knn.predict([[0.1, 0.2, 0.3, 0.4]])
print "hello"
#print ("predictedLabel is :" + predictedLabel)
print predictedLabel