高斯分布和二项分布属于指数分布族的证明

1、什么是指数分布族

1.1 基本描述

        指数型分布是一类重要的分布族，在统计推断中，指数型分布族占有重要的地位，在各领域应用广泛。许多的统计分布都是指数型分布，彼此之间具有一定的共性，在研究其统计性质与分布特征时，利用指数型分布族的特征，可以将这一族分布的特征分别表示出。在广义线性模型的统计推断中，常假设样本服从指数型分布。

1.2 定义

       指数分布族可以写成如下的形式：

                                                     

        在这里，η叫做分布的自然参数，a(η)叫做累积量母函数（又称log partition function）。exp(-α(η))这个量是分布p(y;η)的归一化常数，用来确保分布p(y;η)对y的积分为1。T(y)称为充分统计量（sufficient statistic）,对于我们考虑的分布，一般认为T(y)=y。

一组确定的T，a和b定义了这样一个以η为参数的分布族。对于不同的η，我们可以得到指数分布族中不同的分布。

1.3 数学特征

        对于单参数指数型分布的随机变量，记，分别表示关于η的函数a对η求一二阶导数，则有以下结论：

1. 指数型分布随机变量的期望
2. 指数型分布随机变量的方差

2、高斯分布属于指数分布族的证明

        对于高斯分布，当方差已知时，（方差对模型的参数没有影响，所以我们可以任意地选一个方差），在这里我们令，则其分布可以表示为：

                                        

        为了将其向指数分布族靠拢，我们进行如下表示：

                                         

        这显示了高斯分布可以被写成是指数分布族的形式，所以高斯分布属于指数分布族。

        进一步地，我们用指数分布族的性质去验证一下，有：

                                        

                                          

        刚好是高斯分布的期望和方差，所以验证成功。

 

 

3、二项分布属于指数分布族的证明

        对于二项分布（伯努利分布），每一个取不同均值的参数Φ，就会唯一确定一个y属于{0,1}之间的分布。所以可以表示为

                                   

        故二项分布的分布函数只以Φ作为参数，统一这样表示二项分布：

                                               

        这样，自然参数为：，翻转一下，有：

        为了进一步将二项分布向指数分布族靠拢，我们可以进行如下表示：

                                                 

        这显示了二项分布可以被写成是指数分布族的形式，所以二项分布属于指数分布族。

 

        进一步地，我们用指数分布族的性质去验证一下，有：

                                       

                                       

        刚好是二项分布的期望与方差，故满足性质。