zoukankan      html  css  js  c++  java
  • matlab练习程序(EM算法)

    最大期望算法(Expectation-maximization algorithm,又译为期望最大化算法),是在概率模型中寻找参数最大似然估计或者最大后验估计的算法,其中概率模型依赖于无法观测的隐性变量。

    最大期望算法经过两个步骤交替进行计算:

    第一步是计算期望(E),利用对隐藏变量的现有估计值,计算其最大似然估计值;

    第二步是最大化(M),最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一个E步计算中,这个过程不断交替进行。

    下面用EM算法对高斯混合模型进行聚类,该算法不仅能够给出聚类后数据的均值,还能够给出协方差。

    代码如下:

    clear all;
    close all;
    clc;
    
    mu1=[0 0];
    S1=[0.8 0.1];
    data1=mvnrnd(mu1,S1,1000);
    plot(data1(:,1),data1(:,2),'r.');
    hold on;
    
    mu2=[2 4];
    S2=[0.4 1.3];
    data2=mvnrnd(mu2,S2,1000);
    plot(data2(:,1),data2(:,2),'g.');
    
    mu3=[-2 3];
    S3=[2.4 1.3];
    data3=mvnrnd(mu3,S3,1000);
    plot(data3(:,1),data3(:,2),'b.');
    
    %利用EM算法对高斯混合模型聚类
    data=[data1;data2;data3];
    mu{1} = rand(1,2);
    mu{2} = rand(1,2);
    mu{3} = rand(1,2);
    sigma{1} = rand(1,2);
    sigma{2} = rand(1,2);
    sigma{3} = rand(1,2);
    
    p = [0.3 0.4 0.4];
    w=zeros(length(data),3);
    for i=1:1000
        
        %E-step
        for j=1:3
            w(:,j) = p(j)*mvnpdf(data,mu{j},sigma{j});
        end
        w = w./repmat(sum(w,2),[1 3]);
        
        %M-step
        for j=1:3
            mu{j} = w(:,j)'* data / sum(w(:,j));
            sigma{j} = sqrt(w(:,j)'*((data-mu{j}).*(data-mu{j})) / sum(w(:,j)));
        end
        p = sum(w) / length(data);
        
    end
    
    figure;
    w = uint8(w);
    data1 = data(w(:,1)==1,:);
    data2 = data(w(:,2)==1,:);
    data3 = data(w(:,3)==1,:);
    
    plot(data1(:,1),data1(:,2),'r.');
    hold on;
    plot(data2(:,1),data2(:,2),'g.');
    plot(data3(:,1),data3(:,2),'b.');

    结果:

    原始高斯数据:

    聚类后:

  • 相关阅读:
    Go基础
    格式化输入输出
    常量
    Go语言基础之变量
    跨平台编译
    Hello World
    使用go module导入本地包
    Go语言之依赖管理
    Go包管理
    Go项目结构
  • 原文地址:https://www.cnblogs.com/tiandsp/p/13198325.html
Copyright © 2011-2022 走看看