1 from numpy import *#科学计算包 2 from numpy import tile 3 from numpy import zeros 4 import operator #运算符模块 5 import importlib 6 import sys 7 importlib.reload(sys) 8 9 def createDataSet(): 10 group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) 11 labels = ['A','A','B','B'] 12 return group,labels 13 14 def classify0(inX, dataSet, labels, k): 15 dataSetSize = dataSet.shape[0] 16 #距离计算 17 diffMat = tile(inX, (dataSetSize,1)) - dataSet 18 sqDiffMat = diffMat**2 #平方 19 sqDistances = sqDiffMat.sum(axis=1) #根号下平方相加 20 distances = sqDistances**0.5 #根号 21 sortedDistIndicies = distances.argsort() #排序 22 classCount={} 23 #选择距离最小的k个点 24 for i in range(k): 25 voteIlabel = labels[sortedDistIndicies[i]] 26 classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 27 #排序，将classCount字典分解为元祖列表，导入itemgeeter方法，按照第二个元素的次序对元祖进行排序 28 #此处排序为逆序，即从大到小排序，最后返回发生频率最高的元素标签。 29 sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True) 30 return sortedClassCount[0][0] 31 # 为预测数据所在分类：kNN.classify0([0,0], group, labels, 3) 32 33 # mat()函数可以将数组(array)转化为矩阵（matrix） 34 # randMat = mat(random.rand(4,4)) 35 # 求逆矩阵：randMat.I 36 # 存储逆矩阵：invRandMat = randMat.I 37 # 矩阵乘法：randMat*invRandMat 38 # 求误差值：myEye = randMat*invRandMat 39 #myEye - eye(4) 40 #eye(4)创建4*4的单位矩阵 41 # 使用createDataSet()函数，创建数据集和标签 42 # 创建变量group和labels：group,labels = kNN.createDataSet() 43 # labels包含的元素个数 = group矩阵的行数 44 # 输入变量名字检验是否正确：group和labels 45 # 46 # 47 # 准备数据：从文本文件中解析数据 48 # 在kNN.py中创建名为file2matrix的函数，处理输入格式问题 49 # 该函数的输入为文件名字符串，输出为训练样本矩阵和类标签向量 50 # 将文本记录到转换Numpy的解析程序 51 def file2matrix(filename): 52 fr = open(filename) 53 arrayOLines = fr.readlines() 54 numberOfLines = len(arrayOLines) #得到文件行数 55 returnMat = zeros((numberOfLines,3)) #创建返回的Numpy矩阵 56 classLabelVector = [] 57 index = 0 58 for line in arrayOLines: #解析文件数据列表 59 line = line.strip() #使用line.strip（）截取掉所有的回车字符 60 listFromLine = line.split(' ') #使用tab字符 将上一步得到的整行数据分割成一个元素列表 61 returnMat[index,:] = listFromLine[0:3] #选取前三个元素，存储到特征矩阵中 62 classLabelVector.append(int(listFromLine[-1])) #-1表示列表中的最后一列元素，存储到向量classLabelVector中 63 index += 1 64 return returnMat,classLabelVector 65 66 #准备数据：归一化数值 67 def autoNorm(dataSet): #autoNorm()函数可以自动将数字特征值转换为0到1的区间 68 minVals = dataSet.min(0) 69 maxVals = dataSet.max(0) #ddataSet.max(0)中的参数0使得函数可以从列中选取最小值 70 ranges = maxVals - minVals 71 normDataSet = zeros(shape(dataSet)) 72 m = dataSet.shape[0] 73 #newValue = (oldValue-min)/(max-min)，该公式可以将任意取值范围的特征值转换为0到1区间内的值 74 #tile()函数将变量内容复制成输入矩阵同样大小的矩阵（具体特征值相除） 75 #在numpy库中，矩阵除法需要使用函数linalg.solve(matA,matB) 76 normDataSet = dataSet - tile(minVals, (m,1)) 77 normDataSet = normDataSet/tile(ranges, (m,1)) 78 return normDataSet, ranges, minVals 79 80 #测试算法：作为完整程序验证分类器 81 def datingClassTest(): 82 hoRatio = 0.10 #设置测试集比重，前10%作为测试集，后90%作为训练集 83 datingDataMat,datingLabels = file2matrix('datingTestSet.txt') 84 normMat, ranges, minVals = autoNorm(datingDataMat) 85 m = normMat.shape[0] #得到样本数量m 86 numTestVecs = int(m*hoRatio) #得到测试集最后一个样本的位置 87 errorCount = 0.0 #初始化定义错误个数为0 88 for i in range(numTestVecs): 89 #测试集中元素逐一放进分类器测试，k = 3 90 classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3) 91 #输出分类结果与实际label 92 print("the classifier came back with: %d, the real answer is: %d"% (classifierResult, datingLabels[i])) 93 #若预测结果与实际label不同，则errorCount+1 94 if (classifierResult !=datingLabels[i]): errorCount += 1.0 95 #输出错误率 = 错误的个数 / 总样本个数 96 print("the total error rate is: %f" % (errorCount/float(numTestVecs))) 97 98 99 #约会网站预测数据 100 def classifyPersion(): 101 resultList = ['not at all','in small doses','in large doses'] 102 #input()函数允许用户输入文本行命令并返回用户所输入的命令 103 percentTats = float(input("percentage of time spent playing video games?")) 104 ffMiles = float(input("frequent year?")) 105 iceCream = float(input("liters years?")) 106 datingDataMat,datingLabels = file2matrix('datingTestSet2.txt') 107 normMat, ranges, minVals = autoNorm(datingDataMat) 108 inArr = array([ffMiles,percentTats, iceCream]) 109 classifierResult = classify0((inArr-minVals)/ranges,normMat,datingLabels,3) 110 print("you like person:",resultList[classifierResult - 1]) 111 112 113 #准备数据：将图像转换为测试向量 114 #img2vector函数，将图像转换为向量：该函数创建1*2014的numpy数组， 115 #然后打开给定的文件，循环读出文件的前32行，并将每行的头32个字符值存储在numpy数组中，最后返回数组 116 def img2vector(filename): 117 returnVect = zeros((1,1024)) 118 fr = open(filename) 119 for i in range(32): 120 lineStr = fr.readline() 121 for j in range(32): 122 returnVect[0,32*i+j] = int(lineStr[j]) 123 return returnVect 124 125 #测试算法：识别手写数字 126 def handwritingClassTest(): 127 hwLabels = [] 128 trainingFileList = os.listdir('trainingDigits') 129 m = len(trainingFileList) 130 trainingMat = zeros((m,1024)) 131 #文件名下划线_左边的数字是标签 132 for i in range(m): 133 fileNameStr = trainingFileList[i] 134 fileStr = fileNameStr.split(".")[0] 135 classNumStr = int(fileStr.split('_')[0]) 136 hwLabels.append(classNumStr) 137 trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr) 138 testFileList = os.listdir('trainingDigits') 139 errorCount = 0.0 140 mTest = len(testFileList) 141 for i in range(mTest): 142 fileNameStr = testFileList[i] 143 fileStr = fileNameStr.split('.')[0] # take off .txt 144 classNumStr = int(fileStr.split('_')[0]) 145 vectorUnderTest = img2vector('digits/testDigits/%s' % fileNameStr) 146 classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3) 147 print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr)) 148 if (classifierResult != classNumStr): errorCount += 1.0 149 print("the total number of errors is: %d" % errorCount) 150 print("the total error rate is: %f" % (errorCount / float(mTest)))