朴素贝叶斯估计

介绍来自李航《统计学习方法》

朴素贝叶斯（naïve Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法^[1]。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。

4.2　朴素贝叶斯法的参数估计

4.2.1　极大似然估计

在朴素贝叶斯法中，学习意味着估计P(Y＝c_k)和P(X^(j)＝x^(j)|Y＝c_k)。可以应用极大似然估计法估计相应的概率。先验概率P(Y＝c_k)的极大似然估计是

设第j个特征x^(j)可能取值的集合为{a_j1,a_j2,…,a_jSj}，条件概率P(x^(j)＝a_jl|Y＝c_k)的极大似然估计是

式中，是第i个样本的第j个特征；a_jl是第j个特征可能取的第l个值；I为指示函数。

4.2.2　学习与分类算法

下面给出朴素贝叶斯法的学习与分类算法。

算法4.1（朴素贝叶斯算法（naïve Bayes algorithm））

输入：训练数据T＝{(x₁，y₁),(x₂,y₂),…,(x_N,y_N)}，其中，是第i个样本的第j个特征，∊{a_j1,a_j2,…,a_jSj}，a_jl是第j个特征可能取的第l个值，j＝1,2,…,n，l＝1,2,…,S_j，y_i∊{c₁，c₂,…,c_K}；实例x；

输出：实例x的分类。

（1）计算先验概率及条件概率

（2）对于给定的实例x＝(x⁽¹⁾,x⁽²⁾,…,x⁽ⁿ⁾)^T，计算

（3）确定实例x的类

测试数据采用第5章的例子。

# coding:utf8

def NBM(x,y,goal):
    n=len(y)
    def getList(x):
        kx=[]
        xlist=[]
        for i in range(1 if type(x[0])!=list else len(x[0])):
            xlist.append(list(set([a if type(a)!=list else a[i] for a in x ])))
            kx.append(len(xlist[i]))
        return xlist,kx
    xlist,kx= getList(x)
    ylist,ky= getList(y)
    ycount= [y.count(i) for i in ylist[0]]
    xindex=[[xlist[i].index( goal[i])] for i in  range(len(goal))]
    #print xlist,kx,ylist,ky,ycount,xindex  #[[1, 2, 3], ['s', 'm', 'l']] [3, 3] [[1, -1]] [2] [9, 6] [[1], [0]]
    t=[]
    p=[]
    for m in range(ky[0]):
        for j in range(len(kx)):
            for i in range(kx[j]):
                t.append(sum([1 for a in range(n) if xlist[j][i] in x[a] and y[a]==ylist[0][m]]))
            p.append(t)
            t=[]
    #print p #[[2, 3, 4], [1, 4, 4], [3, 2, 1], [3, 2, 1]]
    px=[]
    t=1
    m=0
    for j in range(ky[0]):
         for i in range(len(xindex)):
             t*=(p[m][xindex[i][0]]+1.0)/(ycount[j]+kx[i])
             m=m+1
         px.append(t*(ycount[j]+1.0)/(n+ky[0]))
         t=1
    return ylist[0][px.index(max(px))]

x1 = [[1,'s'],[1,'m'],[1,'m'],[1,'s'],[1,'s'],[2,'s'],[2,'m'],[2,'m'],[2,'l'],[2,'l'],[3,'l'],[3,'m'],[3,'m'],[3,'l'],[3,'l']]
y1 = [-1,-1,1,1,-1,-1,-1,1,1,1,1,1,1,1,-1]
goal1 = [2,'s']
x = [["青年", "否", "否", "一般"],
    ["青年", "否", "否", "好"],
    ["青年", "是", "否", "好"],
    ["青年", "是", "是", "一般"],
    ["青年", "否", "否", "一般"],
    ["中年", "否", "否", "一般"],
    ["中年", "否", "否", "好"],
    ["中年", "是", "是", "好"],
    ["中年", "否", "是", "非常好"],
    ["中年", "否", "是", "非常好"],
    ["老年", "否", "是", "非常好"],
    ["老年", "否", "是", "好"],
    ["老年", "是", "否", "好"],
    ["老年", "是", "否", "非常好"],
    ["老年", "否", "否", "一般"],]
y = ["拒绝","拒绝","同意","同意","拒绝","拒绝","拒绝","同意","同意","同意","同意","同意","同意","同意","拒绝"]
goal = ["老年", "否", "否", "好"]
print NBM(x,y,goal)  #同意
print NBM(x1,y1,goal1)  #-1