【4】多元正态分布

多元正态分布定义及性质

变换法

设:

• (U=(U_1,dots,U_q)'sim N(0,1))，
• (mu)为(p)维常数向量，
• (A)为(p imes q)常数矩阵，

则称 (X=AU+mu) 的分布为 (p)元正态分布，(X)为(p)维正态随机向量，记为：“(Xsim N_p(mu,AA'))”.

---

特征函数法

(X)的特征函数为：

[Phi_X(t)=expleft[it'mu-frac12t'AA't ight] ]

[egin{align} Phi_X(t)=&E(e^{it'X})=E(e^{it'(AU+mu)})\ =&exp(it'mu)cdot E(e^{it'AU})\ 令&s'=t'A=(s_1,dots,s_q)\ =&exp(it'mu)cdot E(e^{i(s_1U_1+dots s_qU_q)})\ =&exp(it'mu)cdot prod_{j=1}^qE(e^{is_jU_j})\ =&exp(it'mu)cdot prod_{j=1}^qexp(-frac12s_j^2)\ =&exp(it'mu-frac12s's)\ =&exp(it'mu-frac12t'AA't) end{align} ]

若(p)维随机向量(X)的特征函数满足上式，则称(X)服从(p)维正态分布，记为(Xsim N_p(mu,Sigma)).

---

性质法

(定义) 若(p)维随机向量(X)的任意线性组合均服从一元正态分布，则称(X)为(p)维正态随机向量。

• 设(Xsim N_p(mu,Sigma)),(B)为(s imes p)维常数矩阵，(d)为(s)维常向量，令(Z=BX+d)，则(Zsim N_s(Bmu+d,BSigma B')).其中，对于(X)，(E(X)=mu，D(X)=Sigma)

由于(Sigmageq0)，则可分解为(Sigma=AA')设(X=AU+mu),其中(U_isim N(0,1)),则

[egin{align} Z&=BX+d\ &=B(AU+mu)+d\ &=BAU+Bmu+d end{align} ]

于是(Zsim N_s(Bmu+d,(BA)(BA)'))即(Zsim N_s(Bmu+d,BSigma B'))

此性质说明，正态随机向量的任意线性组合仍服从正态分布。

• 若将(Xsim N_p(mu,Sigma))进行分割：

[X= left[ egin{array}{c} X^{(1)}_r\ X^{(2)}_{p-r} end{array} ight]， mu= left[ egin{array}{c} mu^{(1)}_r\ mu^{(2)}_{p-r} end{array} ight]， Sigma= left[ egin{array}{c|c} Sigma_{11} &Sigma_{12}\ hline Sigma_{21} &Sigma_{22} end{array} ight]，(Sigma_{11}为r imes r方阵) ]

则(X^{(1)}sim N_r(mu^{(1)},Sigma_{11})),即多元正态分布的边缘分布仍为正态分布,而反之不一定成立。

• (充要条件)若(X)为(p)维随机向量，其服从正态分布 (leftrightarrows) 对任意(p)维实向量(a=(a_1,dots,a_p)')，有(xi=a'X)为一维正态随机变量。

( ightrightarrows)

设(B=a',d=0)，则

[egin{align} xi=&BX+d\ =&a'X sim N(a'mu, a'Sigma a) end{align} ]

(leftleftarrows)

对 (forall tinR^p,xi=t'Xsim “正态分布”),则(E(X_i),Cov(X_i,X_j))均存在，记(E(X)=mu,D(X)=Sigma)

则对 (forall tinR^p,xi=t'Xsim N( t'mu , t'Sigma t ))，且特征函数为：

[Phi_xi( heta)=E(e^{i hetaxi})=expleft[i heta(t'mu)-frac12 heta^2(t'Sigma t) ight] ]

若令( heta=1)，则：

[Phi_xi(1)=E(e^{ixi})=E(e^{it'X})=Phi_X(t)=expleft[it'mu-frac12t'AA't ight] ]

则:(Xsim N(mu,Sigma ))

---

概率密度法

(多维正态随机向量联合密度函数)设(Xsim N_p(mu,Sigma)，Sigma>0)，则：

[f(x)=frac1{(2pi)^{p/2}|Sigma|^{1/2}}exp{-frac12(x-mu)'Sigma^{-1}(x-mu)} ]

因为(Sigma>0,rank(Sigma)=p)所以(exist A_{p imes p})为非奇异方阵，使得(Sigma=A'A)并且满足(X=AU+mu),其中(U_i)相互独立同(N(0,1))分布,则

[egin{align} f_X(x)=&frac1{(2pi)^{p/2}}exp{-frac12u'u}J(u o x)\ =&frac1{(2pi)^{p/2}}exp{-frac12[A^{-1}(x-mu)]'[A^{-1}(x-mu)]}frac1{J(x o u)}\ =&frac1{(2pi)^{p/2}|Sigma|^{1/2}}exp{-frac12(x-mu)'Sigma^{-1}(x-mu)} end{align} ]

由(X=AU+mu),则(J(x o u))为：

[egin{align} J(x o u)&=left[frac{partial x'}{partial u} ight]_+\ &= left[ egin{array}{ccc} frac{partial x_1}{partial u_1}&dots&frac{partial x_p}{partial u_1}\ vdots&&vdots\ frac{partial x_1}{partial u_p}&dots&frac{partial x_p}{partial u_p}\ end{array} ight]\ &=|A'|_+\ &=|AA'|^{1/2}=|Sigma|^{1/2} end{align} ]