作业目的: 体会条件独立
1、现需要设计一个根据一个人是否是学生$S$（布尔变量）和其体重$W$（连续变量）判断该人的性别$G$（布尔变量）。假设在给定$G$的情况下$S$和$W$独立，且假设概率分布 $p(W|G=female)$和$p(W|G=male)$为高斯分布且二者的方差相等。
（a）可以用朴素贝叶斯分类器实现吗？
（b）如果可以用朴素贝叶斯分类器的话，需要估计从训练数据中估计哪些分布的哪些参数。
（a）、
由条件独立性假设可是，可以用朴素贝叶斯分类，并且有：
$ p(G | S, W) propto p(S, W | G)cdot p(G)$
给定$G$的情况下$S$和$W$独立可得，
$p(G | S, W) propto p(S | G)cdot p(W | G)cdot p(G)$
（b）、
$p(G = female | S, W) propto p(S | G = female)cdot p(W | G = female)cdot p(G = female)$
$p(G = male | S, W) propto p(S | G = male)cdot p(W | G = male)cdot p(G = male)$
其中，
$p(G) = Ber( heta _{1})$ （伯努利分布）
$p(S | G = female) = Ber( heta _{2}), p(S | G = male) = Ber( heta _{3})$
$p(W | G = female) = N( heta _{4}, heta _{5}), p(W | G = female) = N( heta _{6}, heta _{5})$ (均满足正态分布，且具有相同的方差)
$ heta _{1}$到$ heta _{6}$就是需要估计的参数。
2、体会条件独立带来模型参数的减少考虑一个$C$个类别的产生式分类器，其中类条件概率密度为$p(x|y) $，假设类先验$p(y)$为均匀分布。假设$D$维特征均为二值变量，即$x_{j} epsilon left { 0, 1 ight }$。假设在给定类别的条件下，各个特征独立（朴素贝叶斯假设），我们可以记$p(X|y=c, heta ) = prod_{j=1}^{D}Ber(x_{j}| heta_{jc})$，模型共需要$DC$个参数。
(a) 考虑一个不同的“全”模型，即所有变量都相关。则条件概率$p(X|y = c)$应该是什么样子？表示$p(X|y = c)$需要多少个参数？
(b) 当样本数目N较小时，条件独立模型和全模型哪个模型的性能会更好？
(c) 当样本数目N较大时，上述两个模型哪个模型的性能更好？
（a）、
将$D$维随机变量$X$表示为$(X_{1}, X_{2}, cdots , X_{D})$
$p(X|y=c) = p(X_{1}|y=c)cdot p(X_{2}|X_{1},y=c)cdot p(X_{3}|X_{1},X_{2},y=c)cdots p(X_{D}|X_{1},X_{2},cdots ,X_{D-1},y=c)$
其中，$p(X_{1}|y=c)$服从伯努利分布，需要1个参数。$p(X_{2}|X_{1},y=c)$需要估计$p(X_{2}|X_{1}=0,y=c)$，$p(X_{2}|X_{1}=1,y=c)$两个伯努利分布，因此需要2个参数。
同理有$p(X_{3}|X_{1},X_{2},y=c)$需要4个参数，$p(X_{D}|X_{1},X_{2},cdots ,X_{D-1},y=c)$需要$2^{D-1}$的参数
为表示$p(X|y=c)$，所需参数个数：$1+2+4+cdots +2^{D-1} = 2^{D}-1$
（b）、（c）、
当样本数目很小时，由于全模型考虑到了更多的样本信息，应该会好一些吧。如果样本数不小时，全概率模型由于需要估计太多参数，难以计算。