zoukankan      html  css  js  c++  java
  • GMM基础

    原文地址:https://www.jianshu.com/p/5f7365209b05

    一、单成分单变量高斯模型

    图1.1 单成分单变量高斯模型1
    图1.2 单成分单变量高斯模型2
    图1.3 单成分单变量高斯模型3

    二、单成分多变量高斯模型

    图2.1 单成分多变量高斯模型1

    若协方差矩阵为对角矩阵且对角线上值相等,两变量高斯分布的等值线为圆形。

    图2.2 单成分多变量高斯模型2

    若协方差矩阵为对角矩阵且对角线上值不等,两变量高斯分布的等值线为椭圆形。长轴平行于取较大值的变量所在的轴,短轴平行于取较小值的变量所在的轴。

    图2.3 单成分多变量高斯模型3

    若协方差矩阵为非对角矩阵,表明变量之间存在相关性,相关系数取-1到1之间的非0值。

    图2.4 单成分多变量高斯模型4

    上图中两变量高斯分布的等值线长轴平行于(x_1=-0.5x_2)这条直线。

    图2.5 单成分多变量高斯模型5

    三、多成分多变量高斯混合模型

    基于先验概率(P(m))选择成分后,基于(P(X|m))生成数据。

    图3.1 多成分多变量高斯混合模型1

    为减少参数数目,常假设协方差矩阵为对角矩阵且对角线取值相等。

    图3.2 多成分多变量高斯混合模型2
    图3.3 多成分多变量高斯混合模型3

    如果哪个成分生成哪个数据的对应关系已知,即强制对齐,这时使用MLE进行参数估计

    图3.4 多成分多变量高斯混合模型4

    通常情况下,这种生成数据的对应关系是未知的,即存在隐变量,这时使用EM替代MLE进行参数估计。

    图3.5 多成分多变量高斯混合模型5

    E步其实计算的是(P(m|X)),即软分配。
    强制对齐下,将(X)分配给其中的一个成分;
    软分配下,将(X)以一定的概率值分配给每个成分。

    图3.6 多成分多变量高斯混合模型6

    用GMM对数据进行拟合比用单个Gaussian拟合数据更加准确。

    图3.7 多成分多变量高斯混合模型7
    图3.8 多成分多变量高斯混合模型8
    图3.9 多成分多变量高斯混合模型9

  • 相关阅读:
    雅礼集训2017day5乱写
    任意值域最长公共子序列问题
    雅礼集训2017day4乱写
    雅礼集训2017day2乱写
    SP839
    雅礼集训2017day1乱写
    CF671E
    仅维护当前区间影响类问题的线段树
    「雅礼集训 2017 Day4」编码
    Codeforces Round #503 Div. 2
  • 原文地址:https://www.cnblogs.com/cherrychenlee/p/10831533.html
Copyright © 2011-2022 走看看