本文摘自黄清龙等编著的《概率论与数理统计》
-----------------------------------------------------------------------------------------------------------
条件概率
-----------------------------------------------------------------------------------------------------------
全概率公式
-----------------------------------------------------------------------------------------------------------
贝叶斯公式
-----------------------------------------------------------------------------------------------------------
朴素贝叶斯
我们以一个例子来阐述朴素贝叶斯思想。例子来自朴素贝叶斯分类:原理。
假设根据以前的经验获得如下的数据。然后给你一个新的数据：身高“高”、体重“中”，鞋码“中”，请问这个人是男还是女？
判断是男还是女，是分类问题，记男为C1，女为C2。身高体重鞋码是样本X的属性，记x1为身高，x2为体重，x3为鞋码。我们问题是，已知样本X的属性，求它最有可能属于哪一类。也就是说朴素贝叶斯分类法预测X属于Ci类，当且仅当
P(Ci|X)>P(Cj|X)，1<= j <=2，j!=i
这样，最大化P(Ci|X)。使P(Ci|X)最大的类Ci称为最大后验假设。根据贝叶斯公式：
由于P(X)对于所有类为常数，所以只需要P(X|Ci)P(Ci)最大即可。
打断一下，其实在这里，贝叶斯公式可以这样理解：
回到正题，现在我们需要计算的一项是P(X|Ci)，但是包含三个属性，每个属性的size是3，总共是9维空间。这还是简化之后的情况，现实生活中的情况属性和维数会更高很多，这将使得计算P(X|Ci)变得很困难，因此有了朴素贝叶斯假设：属性之间相互独立，即P(X|Ci)=P(x1|Ci)·P(x2|Ci)·P(x3|Ci)。关于朴素贝叶斯假设可参考带你理解朴素贝叶斯分类算法，这篇文章讲的很详细。
在本例中，新的样本的属性是x1=高，x2=中，x3=中。
P(x1|C1)=0.5，P(x2|C1)=0.5，P(x3|C1)=0.25，P(C1)=0.5，---> P(X|C1)P(C1)=0.5*0.5*0.25*0.5=0.03125
P(x1|C2)=0，P(x2|C2)=0.5，P(x3|C2)=0.5，P(C2)=0.5，---> P(X|C1)P(C1)=0*0.5*0.5*0.5=0
所以新样本更可能属于C1类，即男生。
总结朴素贝叶斯计算过程：
(截图摘自带你理解朴素贝叶斯分类算法)