机器学习第二章 配对网站

　　优点：精度高，对异常值不敏感，无输入数据假定

　　缺点：时间复杂度高，空间复杂度高。

　　适用数据范围：数值行和标称型。

简单的K-近邻算法。 直接上代码，看注释就行，

　　K-近邻算法识别书写数字数据集，错误率为1.2%。当然改变K的值或者修改训练数据会对结果产生影响。

　　实际使用这个算法的时候执行的效率并不高，因为算法需要位每个测试向量做2000次计算，每个距离包含1024个维度浮点运算，总计需要执行900此，此外还需要准备2M的空间。这个缺点很让人遗憾。

　　 K-近邻算法虽然是最简单最有效的算法，但是使用算法的时候我们必须要有接近实际数据的训练样本数据。K-近邻算法必须保存全部数据集，如果训练的数据集很大，则必须使用大量的储存空间。此外如果必须对数据集中的每个数据都进行求距离的话，消耗的时间也不是一个小数目。

　　其另一个缺点就是它无法给出任何数据的基础结构信息，因此我们也无法知晓平均实例样本和典型案例样本具有什么特征。下一章我们将用概率测量的方法来处理分类问题。该算法可以解决该问题。

from numpy import *
import operator
import os
def createDataSet () :
    group = array([[0.5,0.5],[0.9,0.9],[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])#创建数组
    labels = ['c','A','A','A','B','B'] #列表
    return group,labels
    
def classify0(inX,dataSet,labels,k):
    dataSetSize = dataSet.shape[0]     #dataSet[0] 中有几个元素  答案是4
    diffMat = tile(inX,(dataSetSize,1)) - dataSet     
    sqDiffMat = diffMat**2    #计算出来距离
    sqDistances = sqDiffMat.sum(axis=1) #将一个小数组合并的距离的平方
    distances = sqDistances**0.5  #得到具体的距离
    sortedDistIndicies = distances.argsort() #根据索引值进行排序
   # print(sortedDistIndicies)
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]   #取出来最小值
     #   print(voteIlabel)
        classCount[voteIlabel] = classCount.get(voteIlabel,0)+1 # 记录每组分类的案例数。
    #    print(classCount)
        sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse = True)  # 按照案例数的大小进行排序。
    return sortedClassCount[0][0]
    
    
def file2matrix(filename):
    fr = open(filename)   
    arrayOlines = fr.readlines()       #读取所有行
    numberOfLines = len(arrayOlines)   #计算行数
    returnMat = zeros((numberOfLines,3)) # 创建返回矩阵
    classLabelVector = []    #创建列表
    index = 0
    for line in arrayOlines:
        line = line.strip()       # 用于删除一行结尾的换行符。
        listFromLine = line.split('	')     #以制表符为界，将该字符串分开。
        returnMat[index,:]=listFromLine[0:3] #切片操作
        if(listFromLine[-1][0]=='l'): # 不同的类型赋成不同的值
            jack = 3
        elif(listFromLine[-1][0]=='s'):
            jack = 2
        else:
            jack = 1
        classLabelVector.append(jack)  # 将 不同的类型加入 classLabelVector内
        index+=1     
    return returnMat,classLabelVector
    
def autoNorm(dataSet):
    minVal = dataSet.min(0)  #找出这个数组中最小值例如（[0,0,0]）
    maxVal = dataSet.max(0)
    ranges = maxVal -minVal   #取值范围
    normDataSet = zeros(shape(dataSet))  #制作同样大小的矩阵
    m = dataSet.shape[0]   #总共有m行
    normDataSet = dataSet - tile(minVal,(m,1))   # 得到差值
    normDataSet = normDataSet/tile(ranges,(m,1)) #归一化
    return normDataSet,ranges,minVal

def datingClassTest():
    hoRatio = 0.10
    datingDataMat,datingLabels = file2matrix('datingTestSet.txt')
    normMat,ranges,minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    numTestVecs = int(hoRatio*m)
    errorCount = 0.0
    for i in range(numTestVecs):
        classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)
        print("The classifier came back with: %d,the real answer is: %d" % (classifierResult,datingLabels[i]))
        if(classifierResult != datingLabels[i]):
            errorCount += 1.0
    
    print("The total error rate is :%f" % (errorCount/float(numTestVecs)))

def img2vector(filename):
    returnVect = zeros((1,1024))
    fr = open(filename)
    for i in range(32):
        lineStr = fr.readline()
        for j in range(32):
            returnVect[0,32*i+j] = int(lineStr[j])
    return returnVect
    
def handWritingClassTest():
    hwLabels = []
    trainingFileList = os.listdir('trainingDigits') # 获取目录内容
    m = len(trainingFileList)     #总共有多少个文件。
    trainingMat = zeros((m,1024))  # 一个文件算一行矩阵，列出来一个矩阵用于保存数据。
    for i in range(m):  #一个一个文件处理
        fileNameStr = trainingFileList[i]   #读取文件名称
        fileStr = fileNameStr.split('.')[0]    #
        classNumStr = int(fileStr.split('_')[0]) #  这三行表示确定出来 图片的实际数字
        hwLabels.append(classNumStr)    # 将实际数字加入 hwLabels
        trainingMat[i] = img2vector('trainingDigits/%s' % fileNameStr)  # 将文件内容放到 trainingMat矩阵当中
    testFileList = os.listdir('testDigits')   # 获取文件内容 
    errorCount = 0.0   
    mTest = len(testFileList)   #文件数
    for i in range(mTest):       #从测试文件中一个一个进行尝试
        fileNameStr = testFileList[i]    #  
        fileStr = fileNameStr.split('.')[0]  #
        classNumberStr = int(fileStr.split('_')[0])   # 获取测试文件的实际数字
        vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)   # 获取文件实际内容
        classifierResult = classify0(vectorUnderTest,trainingMat,hwLabels,3)  # 用分类器进行测试
        print("The classifier came back with: %d,the real answer is : %d"
        %(classifierResult,classNumberStr))
        if(classNumberStr != classifierResult):
            errorCount += 1
    print("
The total number of error is :%d " % errorCount)
    print("
The total error rate is:%f" % float(errorCount/float(mTest)))