半朴素贝叶斯

1、朴素贝叶斯
基于朴素贝叶斯分类的原理如下：

[egin{align} P(c|x)=frac{P(c)P(x|c)}{P(x)} = frac{P(c)}{P(x)}prod_{i=1}^dP(x_i|c) end{align} ]

其中(c)是label中的分类，(x)是样本，(P(c|x))是预测的后验概率。
贝叶斯估计中涉及：
1、使用极大似然估计（频率主义学派）得到样本分布参数，并利用样本分布的参数获得先验概率
2、贝叶斯学派假设参数服从一个鲜艳分布，基于观测到的数据计算参数的后验分布，并利用得到的参数获得样本的先验分布
3、若某一维度对应的先验概率为0，直接根据样本出现的频率来估计会遇到严重的问题，因此需要做拉普拉斯修正，修正公式如下：
(hat{P}(c)=frac{|D_c|+1}{|D|+N}) 和 (hat{P}(x_i|c)=frac{|D_{c,i}|+1}{|D_c|+N_i})

2、半朴素贝叶斯
在朴素贝叶斯的分类中，我们假定了各个属性之间的独立性，这是为了便于计算，防止过多的属性之间的依赖导致计算量过大，这正式朴素的含义。而现实情况是属性全部独立基本上是不可能的，而如果完全考虑各属性之间的相关性会大大增加计算复杂度，所以才引入半朴素贝叶斯网络：进一步放松条件独立性假设，即假设部分属性之间存在依赖关系。
为了计算量不至于太大，假定每个属性只依赖另外的一个属性（称为超父），这样能够更加准确的描述真实情况，朴素贝叶斯公式更改为：

[egin{align} P(c|x) varpropto P(c)prod_{i=1}^dP(x_i|c,pa_i) end{align} ]

例：(P(好瓜=是，声音=浊响）=(6+1)/(17+3*2)=0.304)
(P(脐部=凹陷|好瓜=是，声音=浊响)=(3+1)/(6+3)=0.444) (好瓜且声音浊响的情况下，脐部凹陷的概率)
2.1 SPODE：所有属性都依赖于一个属性，称为“超父”，通过交叉验证的方法获得超父属性
2.2 TAN：每个属性依赖的另外的属性由最大带权生成树来确定。
（1）先求每个属性之间的互信息来作为他们之间的权值。
（2）构件完全图。权重是刚才求得的互信息。然后用最大带权生成树算法求得此图的最大带权的生成树。
（3）找一个根变量，然后依次将图变为有向图。
（4）添加类别y到每个属性的的有向边。
2.3 AODE(Averaged One-Dependent Estimator)是一种基于集成学习机制、更为强大的独依赖分类器，尝试将每个属性做为超父来构建SPODE，然后将哪些足够训练数据之称的SPODE集成加起来做为最终的结果