高斯分布
对于单维高斯分布而言，其概率密度函数可以表示成
\[p(x)=\frac{1}{\sqrt{2 \pi}\sigma}e^{-\frac{(x-u)^2}{2\sigma^2}}
\]
其中\(u\)表示均值，\(\sigma^2\)表示方差。
对于多维高斯分布而言，其概率密度函数可以表示成
\[p(x)=\frac{1}{(2\pi)^{p/2}\lvert \Sigma\rvert^{1/2}}e^{-\frac{1}{2}(x-u)^T\Sigma^{-1}(x-u)}
\]
其中p表示维度，首先介绍如何根据极大似然估计求解高斯分布中的参数\(\lambda=(u,\sigma^2)\)。这里以一维高斯分布为例。
首先定义似然函数
\[\ell (\lambda)=logP(x|\lambda)=log\Pi_{i=1}^{N}p(x_{i}\lvert\lambda)=\sum_{n=1}^{N}log p(x_i\lvert\lambda)\\=\sum_{n=1}^{N}(log(\frac{1}{\sqrt{2\pi}})+log{\frac{1}{\sigma}}-\frac{(x_i-u)^2}{2\sigma^2})
\]
让\(\ell(\lambda)\)分别对\(u\)和\(\sigma\)求偏导数，然后令其等于0，可以得到
\[\frac{\partial \ell(\lambda)}{\partial u}=\sum_{n=1}^{N}(-\frac{1}{2\sigma^2}*2*(x_i-u)*(-1))=0
\]
可以得到\(u\)的值为
\[u=\frac{1}{N}\sum_{n=1}^{N}x_{i}
\]
同样的，可以得到\(\ell(\lambda)\)对\(\sigma\)的偏导数为
\[\frac{\partial{\ell(\lambda)}}{\partial{\sigma}}=\sum_{i=1}^{N}(-\frac{1}{\sigma}-(x_i-u)^2*\frac{1}{2}*(-2)*(\sigma)^3)=0
\]
可以得到\(\sigma^2\)的值为
\[\sigma^2=\frac{1}{N}\sum_{n=1}^{N}(x_i-u)^2
\]
至此已经完成了单维高斯分布中的参数估计。