独立与条件独立

事件间的条件独立（三个事件之间）条件弱于两个事件间的独立。

• 条件有时为不独立的事件之间带来独立（gain independence），有时也会把本来独立的事件，因为此条件的存在，而失去独立性（lose independence），如下（本身，P(XY)=P(X)P(Y)$P(XY)=P(X)P(Y)$，二者独立）；

  P(X,Y∣∣C)≠P(X|C)P(Y|C)$$P(X,Y|C)\ne P(X|C)P(Y|C)$$

事件独立时，联合概率等于概率的乘积。这是一个非常好的数学性质，然而不幸的是，无条件的独立是十分稀少的，因为大部分情况下，事件之间都是互相影响的。然而，通常这种影响又往往依赖于其他变量而不是直接产生。由此我们引入条件独立（conditional independent，CI）。给定 Z$Z$ 下，X$X$ 与 Y$Y$ 是条件独立的当且仅当：

X⊥Y|Z⇔P(X,Y|Z)=P(X|Z)⋅P(Y|Z)$$X\perp Y|Z\iff P(X,Y|Z)=P(X|Z)\cdot P(Y|Z)$$

也即 X$X$ 与 Y$Y$ 的依赖关系借由 Z$Z$ 产生。

例如，定义如下事件：

• X$X$：明天下雨；
• Y$Y$：今天的地面是湿的；
• Z$Z$：今天是否下雨；

Z$Z$ 事件的成立，对 X$X$ 和 Y$Y$ 均有影响，然而，在 Z$Z$ 事件成立的前提下，今天的地面情况对明天是否下雨没有影响。

1. 相关证明

X⊥Y|Z⇔p(x,y|z)=h(x,z)⋅g(y,z)$$X\perp Y|Z\iff p(x,y|z)=h(x,z)\cdot g(y,z)$$

等式两边同时对 x$x$ 积分（对称地，对 y$y$ 进行积分）：

⎧⎩⎨p(y|z)⋅1h(z)=g(y,z)p(x|z)⋅1g(z)=h(x,z)$$\{\begin{array}{l}p(y|z)\cdot \frac{1}{h(z)}=g(y,z)\\ p(x|z)\cdot \frac{1}{g(z)}=h(x,z)\end{array}$$

两式相乘 h(x,z)⋅g(y,z)=p(y|z)⋅1h(z)⋅p(x|z)⋅1g(z)$h(x,z)\cdot g(y,z)=p(y|z)\cdot \frac{1}{h(z)}\cdot p(x|z)\cdot \frac{1}{g(z)}$，又由题设可知，h(x,z)⋅g(y,z)=p(x,y|z)$h(x,z)\cdot g(y,z)=p(x,y|z)$，因此，

p(x,y|z)=p(y|z)⋅1h(z)⋅p(x|z)⋅1g(z)$$p(x,y|z)=p(y|z)\cdot \frac{1}{h(z)}\cdot p(x|z)\cdot \frac{1}{g(z)}$$

等式两边同时对 x,y$x,y$ 进行积分，则可得：

1h(z)1g(z)=1$$\frac{1}{h(z)}\frac{1}{g(z)}=1$$

因此等式成立。

2. 离散型随机变量独立性的判断

P(A,B)=P(A)⋅P(B)$$P(A,B)=P(A)\cdot P(B)$$

独立性的判断即是判断上述等式是否成立。

两随机变量的联合概率分布以及各个概率分布（marginalized）：

由此可知，P(i0,d0)=P(i0)⋅P(d0),…$P(i^0,d^0)=P(i^0)\cdot P(d^0),\dots$，可知事件彼此独立。

3. 条件独立举例

比如两枚硬币，一枚均匀（fair），一枚（biased，0.9 的概率为正，0.1 的概率为反面）。做如下操作，首先随机选择一枚硬币，然后投掷两次（tosses），现定义如下三个随机变量：

• C$C$：随机选择一枚硬币；
• X1$X_1$：第一次投掷的正反面情况；
• X2$X_2$：第二次投掷的正反面情况；

考虑现在做第一次投掷，X1$X_1$，如果为正面，则第二次投掷为正面的概率。如果知道选中的是哪一种硬币，显然第二次投掷与第一次投掷彼此是独立的。因此，P⊨(X1⊥X2∣∣C)$P\models \left(X_1\perp X_2|C\right)$

4. 条件独立与马尔科夫性

• P(AB|C)=P(A|C)P(B|C)$P(AB|C)=P(A|C)P(B|C)$ ⇒
  
  • P(B|AC)=P(B|C)$P(B|AC)=P(B|C)$，条件中有 C，则 B 的出现不受 A 的影响。
  • P(A|BC)=P(A|C)$P(A|BC)=P(A|C)$
• C：事件表示现在；A：事件表示过去；B：事件表示未来；
  - 这样在条件独立的前提下，P(B|AC)=P(B|C)$P(B|AC)=P(B|C)$ 未来发生的概率只有现在有关，而与过去无关；