1、伯努利分布
对于二元随机变量x∈{0, 1},即x的取值要么是0,要么是1。假设x描述的是扔一枚损坏的硬币的结果(即正反面朝上的概率不一定相等),x=1表示正面朝上,概率为参数μ,即p(x=1 | μ) = μ,其中0≤μ≤1。显然,p(x=0 | μ) = 1-μ。因此,随机变量x关于参数μ的概率分布可以写成如下表达式,也叫伯努利分布(Bernoulli distribution),或者两点分布、01分布:
p(x | μ) = Bern(x | μ) = μx(1-μ)1-x
进一步有,x的均值,也叫期望:
E[x] = ∑p(x)x
= μ0(1-μ)1 * 0 + μ1(1-μ)0 * 1
= μ
x的方差(差的平方的和的均值),需要注意的是E[x2] ≠ (E[x])2:
var[x] = E[(x-E[x])2]
= E[x2 - 2xE[x] + (E[x])2]
= E[x2 - 2xμ + μ2]
= E[x2] - 2E[x]μ + μ2
= E[x2] - μ2
= ∑p(x)x2 - μ2
= μ - μ2
= μ(1-μ)
2、二项分布
独立
3、Beta分布
4、高斯分布
狄利克雷分布, 多项式分布,先验分布,共轭先验