《机器学习实战》菜鸟学习笔记（一）

《机器学习实战》终于到手了，开始学习了。由于本人python学的比较挫，所以学习笔记里会有许多python的内容。

1、 python及其各种插件的安装

    由于我使用了win8.1 64位系统（正版的哦），所以像numpy 和 matploblib这种常用的插件不太好装，解决方案就是Anaconda-2.0.1-Windows-x86_64.exe 一次性搞定。

2、kNN代码

#-*-coding:utf-8-*-
from numpy import *
import operator

def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group,labels

def classify0(inX,dataSet,labels,k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX,(dataSetSize,1))-dataSet
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis = 1)
    distances = sqDistances ** 0.5
    sortedDistIndicies = distances.argsort()  #indices
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
        #找出最大的那个
    sortedClassCount = sorted(classCount.iteritems(),
        key = operator.itemgetter(1),reverse = True)
    return sortedClassCount[0][0]

这里的疑惑主要出现在：

（1）array与list有什么区别

       array 是numpy里面定义的。为了方便计算，比如

array([1,2])+array([3,4])
[1,2]+[3,4]

     执行以下就可以知道他们的差别了

（2）shape[0]返回的是哪一维度的大小（不要嘲笑我小白，我真的不知道）

     找到文档看了一下就开朗了。ndarray.shape   “the dimensions of the array. This is a tuple of integers indicating the size of the array in each dimension. For a matrix with n rows and m columns, shape will be (n,m). The length of the shape tuple is therefore the rank, or number of dimensions, ndim.”

（3）tile函数

    tile函数是经常使用的函数，用于扩充array。举例：

>>> b = np.array([[1, 2], [3, 4]])
>>> np.tile(b, 2)
array([[1, 2, 1, 2],
       [3, 4, 3, 4]])
>>> np.tile(b, (2, 1))
array([[1, 2],
       [3, 4],
       [1, 2],
       [3, 4]])

   这下就懂了吧。为什么要用这个函数呢？因为后面两个array要做差，这样做就可以不用使用循环了，典型的空间换时间。那么为什么要做差呢？好吧，因为这是knn算法。

（4）array的sum函数

    写到这里，我决定要好好读读numpy文档了。    

numpy.sum(a, axis=None, dtype=None, out=None, keepdims=False)

   一个sum函数还是挺麻烦的呢

>>> np.sum([[0, 1], [0, 5]], axis=0)
array([0, 6])
>>> np.sum([[0, 1], [0, 5]], axis=1)
array([1, 5])

  这样大家都清楚了

（5） 最后一行，return了什么？

  表面看起来像是二维数组的第一个元素，但是sortedClassCount是二维数组吗？

  写了一个小的验证程序，发现sortedClassCount是一个list，元素是tuple。

L = {1:12,3:4} 
sortedL = sorted(L.iteritems(),key=operator.itemgetter(1))
print sortedL
#结果
[(3, 4), (1, 12)]