机器学习第一次作业
1.试设计一个不同于高斯核和Epanechnikov核的核函数。
2.如果 $mathrm{N}$ 个独立的观测样本 $x_{1}, x_{2}, x_{3}, ldots, x_{N}$ 服从概率密度
$mathrm{p}(mathrm{x} mid hat{ heta})=frac{1}{sqrt{(2 pi)^{mathrm{p}} mathrm{det}(Sigma)}} cdot exp left[-frac{1}{2}(mathrm{x}-mu)^{mathrm{T}} {sum}^{-1}(mathrm{x}-mu) ight]$，
试估计$ heta={mu, sum }$ 。
解：
1)
$mathrm{K}(mathrm{X})=exp left(-frac{left(left|mathrm{X}-mathrm{X}_{mathrm{k}} ight| ight)^{2}}{2 sigma^{2}} ight)$
其中 $sigma$ 定义学习样本间相似性的特征长度尺度。
2)
令：
$L( heta)=prod limits_{i=1}^{N} Pleft(x_{i} mid heta
ight)=left(frac{1}{sqrt{(2 pi)^{p} operatorname{det}(Sigma)}}
ight)^{N} exp left[-frac{1}{2} sum limits _{i=1}^{N}left(x_{i}-hat{mu}
ight)^{ op} Sigma^{-1}left(x_{i}-hat{mu}
ight)
ight]$
则：
$operatorname{ln} L( heta)=-frac{P N}{2} ln 2 pi-frac{N}{2} ln operatorname{det}(hat{Sigma})-frac{1}{2} sumlimits _{i=1}^{N}left(x_{i}-hat{mu} ight)^{ op} Sigma^{-1}left(x_{i}-hat{mu} ight)$
由 $frac{partial operatorname{ln} L( heta)}{partial hat{mu}}=0$ 得：
$sum limits _{i=1}^{N} Sigma^{-1}left(x_{i}-hat{mu} ight)=0$
由 $frac{partial operatorname{ln} L( heta)}{partial hat{Sigma}}=0$ 得：
$sum limits _{i=1}^{N}left(x_{i}-hat{mu} ight)left(x_{i}-hat{mu} ight)^{T} Sigma^{-2}-frac{1}{2} sum limits_{i=1}^{N} Sigma^{-1}=0$
解得：
$left{egin{array}{l}hat{mu }=frac{1}{N} sum limits _{i=1}^{N} x_{i} \hat{Sigma}=frac{1}{N} sum limits_{i=1}^{N}left(x_{i}-hat{mu} ight)left(x_{i}-mu ight)^{ op}end{array} ight.$