机器学习笔记001

机器学习

Gssol
20170620 星期二

1 机器学习概念

• 机器学习，通常的机器指的是“计算机”，机器学习就是让计算机自己学习。最主要的思想是“统计”和“分类”。
• 通常的是给计算机一些指令，然后计算机进行处理；而机器学习主要是分析数据，产生模型，进而进行预测。
• “等人事件”： 例如和某人有约，但不知道对方到达时间我们可以根据对方平时的到达情况来判断自己什么出门等待的时间最少。我们是根据之前的情况来进行分析，利用机器学习，让计算机自己统计之前的数据进行分析，从而对本次情况进行预测。可以利用决策树来处理等人问题。当然天气、堵车情况也会对结果造成影响，暂不考虑。
  “分类事件”：对垃圾邮件进行分类，找出某种鸟（对鸟类进行分类）

---

2 监督学习与无监督学习

• 监督学习：必须知道预测什么，即目标变量的分类信息。需要将实例数据划分到合适的分类中，然后进行回归，产生曲线，进而预测数据。
• 无监督学习：数据没有类别信息，也不会给定目标值。将数据集合分成由类似的对象组成的多个类的过程称为聚类，将寻找描述数据统计值的过程称为密度估计，还可以减少数据特征的维度，更加直观地显示数据信息。
  

---

3 k-近邻算法

k-近邻算法
Pros：精度高、对异常值不敏感、无数据输入设定
Cons：计算复杂度高、空间复杂度高
Works with:数值型和标称型

3.1 电影题材分类问题

判断一部未知电影是爱情片还是战争片，我们可以统计接吻次数和打斗次数来进行判断。
下面是六部电影的统计情况，？位需要判断的电影。

可以通过计算未知电影与已知的六部电影之间的距离，然后找出距离最小的前k位(通常k<20),再进行判断。

用python写的代码如下：

from numpy import *
import operator

def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group,labels

# 用于分类的输入向量inX
# 输入的训练样本集dataSet
# 标签向量位 labels
# k表示用于选择最近邻居的数目
def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]

    #计算距离
    diffMat =tile(inX, (dataSetSize,1)) - dataSet #差
    sqDiffMat = diffMat**2    #平方
    sqDistances = sqDiffMat.sum(axis=1)    #和
    distances = sqDistances**0.5    #开方
    #选择距离最小的k个点
    sortedDistIndicies = distances.argsort()
    classCount={}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
    sortedClassCount = sorted(classCount.items(),
                              key = operator.itemgetter(1),reverse = True)
    return sortedClassCount[0][0]
   

计算具体公式：

cd是进入到存放目录

3.2 改进约会网站的配对效果

from numpy import *
import operator


def createDataSet():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels


def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances ** 0.5
    sortedDistIndicies = distances.argsort()
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    sortedClassCount = sorted(classCount.iteritems(),
                              key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

def file2matrix(filename):
    #得到文件行数
    fr = open(filename)
    arrayOLine = fr.readlines()
    numberOfLines = len(arrayOLine)
    #创建返回的Numpy矩阵
    returnMat = zeros((numberOfLines, 3))

    classLabelVector = []
    index = 0
    #解析文件数据列表
    for line in arrayOLine:
        line = line.strip()
        listFromLine = line.split('	')
        returnMat[index, :] = listFromLine[0: 3]
        classLabelVector.append(int(listFromLine[-1]))
        index += 1
    return returnMat, classLabelVector

在终端上的命令行代码：

Last login: Tue Jun 20 09:48:10 on console
bogon:~ shasha$ cd PycharmProjects/test
bogon:test shasha$ python
Python 2.7.10 (default, Oct 23 2015, 19:19:21) 
[GCC 4.2.1 Compatible Apple LLVM 7.0.0 (clang-700.0.59.5)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import kNN
>>> group,labels=kNN.createDataSet()
>>> group
array([[ 1. ,  1.1],
       [ 1. ,  1. ],
       [ 0. ,  0. ],
       [ 0. ,  0.1]])
>>> labels
['A', 'A', 'B', 'B']
>>> kNN.classify0([0,0],group,labels,3)
'B'
>>> import kNN
>>> reload(kNN)
<module 'kNN' from 'kNN.pyc'>
>>> datingDataMat,datingLabels=kNN.file2matrix('datingTestSet2.txt')
>>> datingDataMat
array([[  4.09200000e+04,   8.32697600e+00,   9.53952000e-01],
       [  1.44880000e+04,   7.15346900e+00,   1.67390400e+00],
       [  2.60520000e+04,   1.44187100e+00,   8.05124000e-01],
       ..., 
       [  2.65750000e+04,   1.06501020e+01,   8.66627000e-01],
       [  4.81110000e+04,   9.13452800e+00,   7.28045000e-01],
       [  4.37570000e+04,   7.88260100e+00,   1.33244600e+00]])
>>> import matplotlib
>>> import kNN
>>> datingDataMat,DatingLabels = kNN.file2matrix('datingTestSet2.txt')
>>> import matplotlib
>>> import matplotlib.pyplot as plt
>>> fig=plt.figure()
>>> ax=fig.add_subplot(111)
>>> ax.scatter(datingDataMat[:,1],datingDataMat[:,2])
<matplotlib.collections.PathCollection object at 0x10ef7de90>
>>> plt.show()

约会网站的数据：

datingTestSet2

（存放数据时放在和kNN同一个目录下面）