机器学习 k-近邻算法

1、使用python导入数据

from numpy import *
def createDataSet():
    group=array([[1.1,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels=['A','A','B','B']
    return group,labels

kNN分类算法：

from numpy import *
import operator
def classify0(inX,dataSet,labels,k):
    dataSetSize=dataSet.shape[0]    #shape[0]表示dataSet的行数
    diffMat=tile(inX,(dataSetSize,1))-dataSet
    sqDiffMat=diffMat**2
    sqDistances=sqDiffMat.sum(axis=1)
    distances=sqDistances**0.5
    sortedDistIndicies=distances.argsort()
    classCount={}
    for i in range(k):
        voteIlabel=labels[sortedDistIndicies[i]]
        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1
    sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]

distances是1*4的矩阵，分别表示待分类的点与所有已知点的距离；
sortedDistIndicies是distances从小到大的索引值；
voteIlabel相当于临时变量，用来取得标签值；

classCount[voteIlabel]=classCount.get(voteIlabel,0)+1  　　如果在字典classCount中找到key=voteIlabel的value,就加1，找不到的话classCount.get(voteIlabel,0)返回0然后加1

sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)　　先把字典classCount变成列表，再按照第二维降序排列，返回的仍是列表

执行算法：

import kNN
from classify_kNN import *
g,l=kNN.createDataSet()
result=classify0([0,0],g,l,3)
print(result)

输出：

B

---

items()：将字典中的项按照列表返回，无序：

get()：返回字典对应key的value值，不存在key时返回第二个参数：

dic={'a':1,'b':2,'c':3}
print(dic.items())
print(dic.get('c','no'))
输出：
dict_items([('b', 2), ('c', 3), ('a', 1)])
3

shape：返回矩阵的维数；

from numpy import *
c=array([[1,1],[2,3,],[5,6]])
print(c)
print(c.shape)
print(c.shape[0])
print(c.shape[1])
输出：
[[1 1]
 [2 3]
 [5 6]]
(3, 2)
3
2

 operator.itemgetter()：返回对象特定维的数据，结合sorted()方法使用：

import operator
students=[['刚田武',20,'gangtw'],['朱二娃',25,'zhuerw'],['咪咪two',30,'miomitwo']]
print(sorted(students,key=operator.itemgetter(1),reverse=True))
输出：
[['咪咪two', 30, 'miomitwo'], ['朱二娃', 25, 'zhuerw'], ['刚田武', 20, 'gangtw']]

argsort()：返回数组值从小到大的索引值

---

归一化数值：在计算欧氏距离的过程中，数值较大的属性对结果的贡献大，如果认为不同属性权重应该相同的话，就需要将数值归一化处理。

from numpy import *
def autoNorm(dataset):
    minVals=dataset.min(0)  #取每列的最小值，返回数组
    print(minVals)
    maxVals=dataset.max(0)
    print(maxVals)
    ranges=maxVals-minVals  #ranges是每列的最大值与最小值之差组成的数组
    print(ranges)
    normDataset=zeros(shape(dataset))
    print(normDataset)
    m=dataset.shape[0]  #取dataset的行数
    normDataset=dataset-tile(minVals,(m,1))
    print(normDataset)
    normDataset=normDataset/tile(ranges,(m,1))
    print(ranges)
    return normDataset

 minVals=dataset.min(0)    #取数据集每列的最小值，返回数组

from numpy import *
dataset=array(([6,5],
             [3,1000],
             [10,300]))
print(dataset.min())    #返回所有元素中的最小值
print(dataset.min(0))   #返回每列的最小值组成的数组
print(dataset.min(1))   #返回每行的最小值组成的数组
输出：
3
[3 5]
[ 5  3 10]

 m=dataset.shape[0] #取dataset的行数

from numpy import *
dataset=array(([6,5],
             [3,1000],
             [10,300]))
print(dataset.shape)    #返回数据集的“形状”，行数和列数
print(dataset.shape[0])     #返回行数
print(dataset.shape[1])     #返回列数
输出：
(3, 2)
3
2

---

测试分类器：

def datingClassTest():
    hoRatio=0.1
    datingDataMat,datingLabels=file2matrix('datingTestSet2.txt')
    normMat,ranges,minVals=autoNorm(datingDataMat)
    m=normMat.shape[0]
    numTestVecs=int(m*hoRatio)
    errorCount=0
    for i in range(numTestVecs):
        classifyerResult=classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)
        print('classify result is %s ,the real answer is %s'%(classifyerResult,datingLabels[i]))
        if classifyerResult!=datingLabels[i]:
            errorCount+=1
    print('the total error rate is %f'%(errorCount/float(numTestVecs)))

hoRatio=0.1　　测试数据占数据集的10%

---

使用：输入各参数，输出分类结果：

def classifyPerson():
    resultList=['not at all','in small doses','in largr doses']
    timeOnGames=float(input('请输入游戏时间百分比：'))
    flyMiles=float(input('请输入每年飞行里程数：'))
    iceCream=float(input('请输入每周消耗的冰淇淋升数：'))
    datingDataMat,datingLabels=file2matrix('datingTestSet2.txt')
    normMat,ranges,minVals=autoNorm(datingDataMat)
    person2test=array([flyMiles,timeOnGames,iceCream])
    classifierResult=classify0((person2test-minVals)/ranges,normMat,datingLabels,5)
    print('you may like thie one:',resultList[classifierResult-1])

 通过调节k值可以调整分类器的正确率。

---

使用k近邻算法识别手写数字：

def handwritingClassTest():
    hwLabels=[]
    trainingFileList=listdir('digits/trainingDigits')
    m=len(trainingFileList)
    trainingMat=zeros((m,1024))
    for i in range(m):
        fileNameStr=trainingFileList[i]
        fileStr=fileNameStr.split('.')[0]
        classNumStr=int(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        trainingMat[i,:]=img2vector('digits/trainingDigits/%s'%fileNameStr)
    testFileList=listdir('digits/testDigits')
    errorCount=0
    mTest=len(testFileList)
    for i in range(mTest):
        fileNameStr=testFileList[i]
        fileStr=fileNameStr.split('.')[0]
        classNumStr=int(fileStr.split('_')[0])
        vectorUnderTest=img2vector('digits/testDigits/%s'%fileNameStr)
        classifierResult=classify0(vectorUnderTest,trainingMat,hwLabels,3)
        #print('分类结果：%s,实际结果：%s'%(classifierResult,classNumStr))
        if(classifierResult!=classNumStr):
            errorCount+=1
    print('分类错误总计：',errorCount)
    print('分类错误率：',errorCount/float(mTest))

注释：

trainingMat用来存储数据集，每个待测记录都要计算与此数据集之间的距离

hwLabels用来存储trainingMat对应的标签

fileNameStr存储文件名

fileStr存储不含后缀的文件名

classNumStr存储每条记录实际标签

vectorUnderTest表示待分类记录

计算分类错误率时，使用float()将int型数据变成浮点型