zoukankan      html  css  js  c++  java
  • 极大似然估计

    利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值,是一种给定观察数据来评估模型参数的方法。

    设 $X_{1},X_{2},X_{3},...X_{n}$ 是来自总体 $X$ 的简单随机样本,$x_{1},x_{2},x_{3},...x_{n}$ 为样本的观察值(样本值),$ heta_{1}, heta_{2}, heta_{3},... heta_{k}$ 为待估参数。

    现在我们希望得到一个只关于参数 $ heta_{i}$ 的一个函数,这个函数能表征该样本结果发生的概率,从而我们通过研究这个函数,得到概率最大时,

    参数 $ heta_{i}$ 的取值,这个取值就作为模型参数的估值。

    如何得到表征样本结果发生概率的函数呢?

    1. 总体 $X$ 为离散型

       $X$ 的概率分布为:

    $$Pleft { X = x_{k} ight } = p_{k}( heta),k = 1,2,3,...$$

       由于 $X_{1},X_{2},X_{3},...X_{n}$ 和总体具有相同的分布,所以

    $$Pleft { X_{i} = x_{i} ight } = Pleft { X = x_{i} ight }, i = 1,2,3,...,n$$

       所以 $X_{1},X_{2},X_{3},...X_{n}$ 取到一组观测值 $x_{1},x_{2},x_{3},...x_{n}$ 的概率为

    $$Pleft { X_{1} = x_{1}, X_{2} = x_{2},...,X_{n} = x_{n} ight } = prod_{i=1}^{n}Pleft { X_{i} = x_{i} ight }$$

       这一概率随 $ heta$ 的取值而变化,它是 $ heta$ 的函数,记为 $L( heta)$,该函数称为样本的似然函数,即

    $$L( heta) = prod_{i=1}^{n}Pleft { X_{i} = x_{i} ight }$$

    2. 总体 $X$ 为连续型

       设 $X$ 的概率密度为 $f(x; heta)$,连续型随机变量没有点概率,采用的是极限逼近的手段,这里不再赘述,可得它取某一个样本点的概率近似为

    $$Pleft { X = x_{i} ight } = f(x_{i}; heta)dx_{i}, dx_{i} > 0$$

       所以 $X_{1},X_{2},X_{3},...X_{n}$ 取到一组观测值 $x_{1},x_{2},x_{3},...x_{n}$ 的概率近似为

    $$Pleft { X_{1} = x_{1}, X_{2} = x_{2},...,X_{n} = x_{n} ight } = prod_{i=1}^{n}Pleft { X_{i} = x_{i} ight } = prod_{i=1}^{n}f(x_{i}; heta)dx_{i},dx_{i} > 0$$

       由于 $dx_{i} > 0$,且非 $ heta$ 函数,所以似然函数为

    $$L( heta) = prod_{i=1}^{n}f(x_{i}; heta)$$

    求极大似然函数估计值的一般步骤:

        1)根据总体的分布写出似然函数:$L(x_{1},x_{2},x_{3},...x_{n}; heta_{1}, heta_{2}, heta_{3},... heta_{k})$。函数 $L$ 是关于 $ heta_{i}$ 的多元函数。

        2)如有必要,则对似然函数取对数,并整理。

        3)多元函数求极值,当函数值最大时,即样本发生概率最大时,所对应的 $ heta_{i}$ 就是解。

  • 相关阅读:
    [转]Lucene 性能优化带数据
    Lucene Document getBoost(float) 和 setBoost(float)
    几种Lucene.Net打开IndexReader的方式
    JSON 省市数据包括港澳
    Lucene Boost 精度表
    Dot NET 内存泄漏
    对《LINQ能不能用系列(一)数组筛选效率对比》中测试的几个问题
    售前工程师的成长一个老员工的经验之谈(三)(转载)
    yum使用简介
    Hadoop源代码分析 HDFS(转载)
  • 原文地址:https://www.cnblogs.com/yanghh/p/13277728.html
Copyright © 2011-2022 走看看