Python学习之k-近邻实例

　　海伦收集约会数据巳经有了一段时间，她把这些数据存放在文本文件datingTestSet.txt中，每个样本数据占据一行，总共有 1000 行。海伦的样本主要包含以下 3 种特征：
　　1. 每年获得的飞行常客里程数
　　2. 玩视频游戏所耗时间百分比
　　3. 每周消费的冰淇淋公升数
　　在将上述特征数据输人到分类器之前，必须将待处理数据的格式改变为分类器可以接受的格式。在 kNN.py 中创建名为 file2matrix的函数，以此来处理输人格式问题。该函数的输人为文件名字符串输出为训练样本矩阵和类标签向量，整体程序如下：

1. 读取测试数据文件

# 读取测试数据文件
def read_file(filename):
    datafile = open(filename)
    lines = datafile.readlines();
    length = len(lines)
    marix = zeros((length,3))
    classLabelVector = []
    index = 0
    for line in lines:
        line = line.rstrip()
        words = line.split("	")
        marix[index,:]=words[0:3]
        classLabelVector.append(float(words[-1]))
        index = index + 1
    return marix,classLabelVector

2. 测试数据归一化

　　在处理不同取值范围的特征值时，我们通常采用的方法是将数值归一化，如将取值范围处理为0到1或者-1到1之间，下面的公式可以将任意取值范围的特征值转化为0到1区间内的值 ：newValue = (oldValue-min)/(max-min)，具体程序如下：

def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    range = maxVals - minVals
    normDataSet = zeros(shape(dataSet))
    m = dataSet.shape[0]
    normDataSet = dataSet - tile(minVals,(m,1))
    normDataSet = normDataSet/tile(range,(m,1))
    return normDataSet,range,minVals

3. 分类器

　　主要是利用测试数据对前面创建的分类器进行验证，测试分类器的效果

def classify(inX,dataSet,labels,k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX,(dataSetSize,1))-dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndices = distances.argsort()
    classCount={}
    for i in range(k):
        voteIlabel = labels[sortedDistIndices[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
    sortedClassCount = sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]

4. 测试

def datingClassTest():
    resultList = ['一点也不喜欢','有一点好感','特别喜欢']
    hoRatio = 0.1
    filename = 'E:\datingTestSet2.txt';
    (marix,classLabel)=read_file(filename)
    normdataSet,ranges,minVals=autoNorm(marix)
    m = normdataSet.shape[0]
    numTestVecs = int(m*hoRatio)
    errorCount = 0.0
    for i in range(numTestVecs):
        classResult = classify(normdataSet[i,:],normdataSet[numTestVecs:m,:],classLabel[numTestVecs:m],3)
        print "你对这个人的感觉是：%s ，现实情况是：%s" %(resultList[int(classResult-1)],resultList[int(classLabel[i]-1)])
        if classResult != classLabel[i]:
            errorCount += 1.0
    print "错误率是: %f " %(errorCount/float(numTestVecs))

5. 测试结果

你对这个人的感觉是：一点也不喜欢 ，现实情况是：一点也不喜欢
你对这个人的感觉是：一点也不喜欢 ，现实情况是：一点也不喜欢
你对这个人的感觉是：一点也不喜欢 ，现实情况是：一点也不喜欢
你对这个人的感觉是：特别喜欢 ，现实情况是：特别喜欢
你对这个人的感觉是：特别喜欢 ，现实情况是：特别喜欢
你对这个人的感觉是：一点也不喜欢 ，现实情况是：一点也不喜欢
你对这个人的感觉是：特别喜欢 ，现实情况是：特别喜欢
你对这个人的感觉是：一点也不喜欢 ，现实情况是：一点也不喜欢
你对这个人的感觉是：一点也不喜欢 ，现实情况是：一点也不喜欢
...

　　所有程序均来自《机器学习实战》，非常好的书籍，推荐大家学习一下......