概率论

文本记录深度学习常用的概率论知识。

基础概念

• 随机变量：概率论通过随机试验来研究随机现象中的统计规律性。可是随机试验需要大量重复，为了更好地去表示整个统计规律性，研究时借助了随机变量这一概念，于是有关随机事件的计算就变成随机变量的计算。随机变量分连续型随机变量（continuous variables）和离散型随机变量（discrete variables）。
• 概率分布函数：函数(F(x) = P(X leq x))称为随机变量(X)的概率分布函数。
• 连续型随机变量的概率密度函数f(t)：(F(x) = int_{-infty}^{x}f(t)dt)
• 边缘概率
• 条件概率：(P(AB) = P(A)P(B|A) = P(B)P(A|B))，其中(P(A), P(B) > 0)

期望、方差、协方差、协方差矩阵

1. 期望

• 离散型随机变量的期望：(E(X) = sum_{k=1}^{infty}x_k p_k)
• 连续型随机变量的期望：(E(X) = sum_{-infty}^{infty}xf(x)dx)。

性质：

1. (E(X) + E(Y) = E(X+Y))
2. 如果(X)和(Y)独立，(E(X)E(Y)=E(XY))

2. 方差

刻画了随机变量取值的波动大小：方差越小，越靠近均值；方差越大越远离均值。

[Var(f(x)) = Bbb{E}[(f(x) - Bbb{E}[f(x)])^2] ]

3. 协方差

刻画了两个随机变量的线性相关性，绝对值大小刻画了相关性大小，0表示不相关；正负表示了正相关和负相关；

[Cov(f(x), g(y)) = Bbb{E}[(f(x) - Bbb{E}[f(x)])(g(y) - Bbb{E}[g(y)])] ]

协方差矩阵

常见概率分布

• 伯努利分布
• 多重伯努利分布
• 高斯分布（正态分布）
• 指数分布和拉普拉斯分布
• 狄拉克分布（Dirac Distribution）和经验分布（Empirical Distribution）
• 混合分布和高斯混合模型

常见函数的有用属性

• logistic sigmoid
• softplus function
• 贝叶斯定理

连续随机变量的技术细节

略

---

• quantum [ˈkwɑːntəm] 量子
• scenario [səˈnærioʊ] 设想，可能发生的情况；剧情梗概
• brittle [ˈbrɪtl] 易碎的；脆弱的
• prone [proʊn] likely to suffer from sth or to do sth bad