zoukankan      html  css  js  c++  java
  • Gauss Mixture 模型 和 EM 算法

    ---恢复内容开始---

    一、与K-mean算法的比较:

     二、Gauss Mixture 模型

    •  有一组数据,直方图如左上。显然这样的分布不能用某一个单峰简单分布来描述,可以利用高斯混合分布来解决。

    分布Y由两个高斯分布混合而成:

    •  现在,我们要求未知参数

    • 那么似然函数是这样的(基于N个已知数据的对数似然)

    •  由于这个似然函数很难求得使似然最大的参数,因此,引入前面提到的潜变量∆ ,但是∆的值实际上未知,我们用其期望来替代,期望是未知参数的函数,这个期望称作responsibility:

     三、EM算法

    • 通过EM算法来求得参数,这事实上是一种聚类。
      • 随机选择参数开始
      • 计算∆的期望γ
      • 利用γ计算各参数
      • 。。。反复迭代直到参数不再更新

     关于开始参数的选择:

  • 相关阅读:
    点分治
    主席树
    可持久化并查集
    可持久化线段树
    网络流
    AC自动机
    线性基
    快速幂
    素数筛
    扩展欧几里得算法
  • 原文地址:https://www.cnblogs.com/lokwongho/p/11466324.html
Copyright © 2011-2022 走看看