Kaggle Digit Recognizer 练习

本文代码主要是为了练习Kaggle流程，精确度不高。

main.py

#encoding:utf-8
from functions import *
from sklearn import neighbors

#读取训练集数据
trainData,trainLabel=readTrainData('train.csv')
#读取测试集数据
testData=readTestData('test.csv')

#KNN算法中的k值，即最近邻的个数
n_neighbors=5 
#KNN算法的加权的两种方式
weights=['uniform', 'distance'] 
#定义一个knn算法
clf = neighbors.KNeighborsClassifier(n_neighbors, weights=weights[1])
#训练模型
clf.fit(trainData,trainLabel) 
#将模型应用于测试集
testLabel=clf.predict(testData)
#测试结果输出为Kaggle要求的格式
getResult(testLabel)

functions.py

#encoding:utf-8
import numpy as np
import pandas as pd
from pandas import Series,DataFrame

#定义读取训练集数据的函数，该函数将训练数据集中的项和标签分开
def readTrainData(fileName):
    #读取训练数据集
    df=pd.read_csv(fileName)
    
    #训练数据集的第一列为标签列，此时为Series数据结构
    trainLabel=df['label']     
    #将Series转换为ndarray数据结构，长度为42000,每一个ndarray项为一个0~9的数字
    trainLabel=trainLabel.values
    
    #删除训练数据集的标签列，余下的为训练数据集，42000*784   
    del df['label']
    #此时df仍为DataFrame数据结构，所以在此时对df进行简化处理
    #简化函数定义见后面代码
    df=simplify(df) 
    #将训练数据集从DataFrame数据结构转换为ndarray数据结构，
    #长度为42000，每一个ndarray项为一个长度为784的list
    trainData=df.values             
    return trainData,trainLabel

    
def readTestData(fileName):
    #读取测试数据集
    df=pd.read_csv(fileName)
    #对训练集进行了简化处理，要对测试集进行同样的处理
    df=simplify(df) 
    #测试数据集由于没有标签列，
    #所以直接将测试数据集从DataFrame数据结构转换为ndarray数据结构
    testData=df.values
    return testData

#为了减少模型训练时的计算量，可以对测试数据项和训练数据项进行简化处理
#思想：由于是识别字迹，所以是什么颜色不是重点，重点是RGB值是0或不是0
#所以，将非0的值都设置为1 
#注意：传入的数据格式为DataFrame格式   
def simplify(data):
    #DataFrame的applymap方法，对元素进行函数应用
    data=data.applymap(returnOneOrZero)
    return data
 
#将非0的值替换为1，注意要return 0，否则结果0所在的位置都会变成NaN   
def returnOneOrZero(num):
    if num:
        return 1
    else:
        return 0
    
    
def getResult(testLabel):
    #通过scikit-learn得到的测试标签为ndarray格式，将其转换为Series数据结构
    testLabel=Series(testLabel)
    #加表头ImageId和Label。即第一列为ImageId列，第二列为Label，np.arange要加1
    df={'ImageId':np.arange(28000)+1,'Label':testLabel}
    #将df转换为DataFrame数据结构
    df=DataFrame(df)
    #讲结果输出到csv格式的文本中
    df.to_csv('result.csv',index=False) 

analysis.py

# -*- coding: utf-8 -*-
import pandas as pd
def getDiff(benchmark,result,test):
    list=[]
    for i in range(28000):
        if benchmark['Label'][i]==result['Label'][i]:
            list.append(i)
    benchmark=benchmark.drop(list)
    result=result.drop(list)
    test=test.drop(list)
    test['Label_right']=benchmark['Label']
    test['Label_wrong']=result['Label']
    return test

benchmark=pd.read_csv('rf_benchmark.csv')
result=pd.read_csv('result.csv')
test=pd.read_csv('test.csv')
errorAnalysis=getDiff(benchmark,result,test)
print len(errorAnalysis)
errorAnalysis.to_csv('errorAnalysis.csv',index=False)