指数族分布是一大类分布,基本形式为:
![]()
T(x)是x的充分统计量(能为相应分布提供足够信息的统计量)

为了满足归一化条件,有:

可以看出,当T(x)=x时,e^A(theta)是h(x)的拉普拉斯变换。
指数族分布的例子:

伯努利分布转换成指数族分布形式:

单变量高斯分布的:

多变量高斯分布的:

A(theta)的一阶导:

A(theta)的二阶导:

说明A(theta)是凸函数
计算log likehood,然后对theta求导,可得
![]()
而A的二次导时大于零的,所以A的一次导是增函数,上述方程最多只有一个解。
共轭先验:
似然估计:

我们希望:![]()
比如:


一些例子:
