【转载】指数分布族

http://blog.csdn.net/v1_vivian/article/details/52038037

 

指数分布族是指可以表示为指数形式的概率分布。指数分布族的形式如下:（其中，η称为分布的自然参数（nature parameter）；T(y)是充分统计量（sufficient statistic），通常T(y)=y。当参数a、b、T都固定时，就定义了一个以η为参数的函数族）：

 

 

 

以将高斯分布和伯努利分布为例，我们将它们表示称为指数分布族的形式。

 

1.将伯努利分布写成指数分布族的形式

 

伯努利分布是对0,1问题进行建模的分布，它可以用如下形式表示：

将其转换形式：

此时，我们就将伯努利分布表示成了指数分布族的形式；其中：

 

我们可以看到，φ的形式与logistic函数一致，这也正是因为logistic模型对问题的概率估计是伯努利分布的缘故。

 

 

2.将高斯分布写成指数分布族的形式

 

由高斯分布可以推导出线性模型，由线性模型的假设函数可知，高斯分布的方差σ²与假设函数无关，所以简便起见，我们可以将σ²的值设为1，推导过程如下：

 

此时，我们就将高斯分布表示成了指数分布族的形式；其中：

                                

 

实际上，大多数概率分布都可以表示成指数分布族的形式。比如：

（1）伯努利分布：对0、1问题进行建模；

（2）多项式分布：多有K个离散结果的事件的建模；

（3）泊松分布：对计数过程进行建模，比如网站访问量的计数问题，放射性衰变的数目，商店 顾客数量等问题；

（4）伽马分布与指数分布：对有间隔的正数进行建模，比如公交车的到站时间问题；

（5）β分布：对小数建模；

（6）Dirichlet分布：对概率分布建模；

（7）Wishart分布：协方差矩阵的分布；

（8）高斯分布；

 

 

 

实际上，大多数概率分布都可以表示成上式的形式。比如：

1）伯努利分布：对0、1问题进行建模；

2）多项式分布：多有K个离散结果的事件的建模；

3）泊松分布：对计数过程进行建模，比如网站访问量的计数问题，放射性衰变的数目，商店 顾客数量等问题；

4）伽马分布与指数分布：对有间隔的正数进行建模，比如公交车的到站时间问题；

5）β分布：对小数建模；

6）Dirichlet分布：对概率分布建模；

7）Wishart分布：协方差矩阵的分布；

8）高斯分布；