监督学习——K邻近算法及数字识别实践

1. KNN 算法

        K-近邻(k-Nearest Neighbor，KNN)是分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

         K邻近算法原理很简单，但是真正用好它也不容易，比如K的取值到底为多少才合适，而且知道什么场景下用它更不简单。

         缺点：  该算法的执行效率并不高，每次计算都需要将 待识别的用例 与所有测试用例进行求差计算，计算量较大。随着测试数据的增多，计算量会越来越大。

2. 数字识别 Python 实现

        下图为一个 二进制表示的数字“6”，每个训练数据和测试数据都是以这种形式保存在一个txt文件中，数据为32*32（1024个数据）的矩阵。

KNN算法实现数字识别步骤

1. 读取训练数据中的所有数据到一个矩阵中（矩阵中的每一列代表一个图片数据），同时读取数据的标签保存在一个数组中（数据的标签或患者说文件代表的具体数字信息在文件命中）

2. 读取测试数据，转换1024*1的矩阵。

3. 用测试数据与矩阵A中的每一列求距离，求得的L个距离存入距离数组中（距离算法）

4. 从距离数组中取出最小的K个距离所对应的训练集的索引

5. 拥有最多索引的值就是预测值（有多个众数时，按距离和最小）

数据加载函数

该函数用于打开一个数字数据源（32*32），保存在一个1*1024的矩阵中

def openFile(fileName):
    returnVect = np.zeros((1,1024))
    fr = open(fileName)
    for i in range(32):
        linestr = fr.readline();
        for j in range(32):
            returnVect[0,32*i+j] = int(linestr[j])
    return returnVect

如果需要加载某个文件夹下的所有数字文件则可以调用如下函数（数字的标签保存在文件名中第一个字符）

def loadData(dir):
    fileList = listdir(dir)  // 列出dir文件下的所有文件（测试数据）
    lable = []
    index = 0
    dataMat = np.zeros((1024,len(fileList)))
    for file in fileList:
        lable.append(int(file[0]));  // 标签信息保存在文件的第一个字符中
        dataMat[:,index] = openFile(dir+file)
        index +=1;
    return dataMat,lable

距离计算函数

该函数用于计算两个图片举证（1*1024）的距离，（相同位置如果数字相同则距离加1）

def caculateerro(data1,data2):
    len1 = len(data1)
    len2 = len(data2)
    sizelen = min(len1,len2);
    totalerro = 0;
    for i in range(sizelen):
        if data1[i] != data2[i]:
            totalerro +=1
    return totalerro

数字识别函数

def classFier(datain):
    k=15
    dictErro = {} //保存 训练数据编号——测试数据与该训练数据的距离
    trainingdata, traninglabel = loadData('digits\trainingDigits\');
    m,n = trainingdata.shape;

    for i in range(n):

        // 计算测试图片与每张训练图片的距离
        currErro = caculateerro(datain,trainingdata[:,i])
        dictErro[i] = currErro
    sortedDict = sorted(dictErro.items(),key=lambda x:x[1],reverse=False);
    numofnumber = range(10)

    for i in range(10):
        numofnumber[i] = 0
    for j in range(30):
        label = int(sortedDict[j][0])
        numofnumber[int(traninglabel[label])] += 1;
    return numofnumber.index(max(numofnumber))

        上述源码中KNN算法的K取值为15，即取出距离训练数据最小的十五个图片，然后判断这15张图片中对应的那个数字出现的平率最多，将最多的数据作为识别结果返回。

参考：

《机器学习实战》

https://blog.csdn.net/zzz_cming/article/details/78938107