zoukankan      html  css  js  c++  java
  • 众包中的概率图模型和 EM 算法的使用和总结

    ### 这一篇博文待一个月后,我对 EM 算法的理解更加深刻后再来补上。

     大略翻看了《The EM Algorithm and Extensions 》 后感觉,EM 算法就是在数据不完备(有缺失、有中间过程隐变量)的时候,进行极大似然估计(MLE)时用到的一种技巧,其与概率图模型的联系似乎不是很大,EM 算法进行 MLE 时是逐步迭代地逼近模型的最优参数,是频率学派的工作,是在进行学习(learning);而概率图模型(probabilistic graphical model)一般是 Bayesian学派,把模型参数作为随机变量,来进行结点的边缘分布的推断,直接求解模型参数的后验分布。一般精确推断的方法有变量消去,信念传播,而这些方式的计算复杂度很大;因为通常计算边缘分布需要进行 integration, 这在分布很复杂的情况下,一般是 intractable ,故一般引入近似推断,确定性近似(变分推断)和 随机近似(MCMC 采样和 Gibbs Sampling)。

    另外,好像在使用 variational Bayes 时,是结合 EM 算法一起用的,或者说作为 EM 算法的一个小步骤。

    在众包的paper 中 EM 算法被使用的很广泛,但是 EM 算法本身也是存在问题的;例如收敛到局部最优,严重依赖于初始值,无法知道最终的结果的误差等。

    1. Online Crowdsourcing : rating annotators and obtaining cost-effective labels. (CVPR_workshop2010)

    Bayesian treatment of Expectation Maximizatio algorithm

    2.Whose Vote Should count more: Optimal Integration of labels from labelers of unknown expertise (NIPS09)

    3. BCC model Bayesian classifier combination

    4.Community-Based Bayesian Aggregation Models for Crowdsourcing

  • 相关阅读:
    [Bzoj2243][SDOI2011]染色(线段树&&树剖||LCT)
    [poj3074]Sudoku(舞蹈链)
    [Bzoj1047][HAOI2007]理想的正方形(ST表)
    [Bzoj1030][JSOI2007]文本生成器(AC自动机&dp)
    [Bzoj2431][HAOI2009]逆序对数列(前缀和优化dp)
    [Bzoj1072][SCOI2007]排列perm(状压dp)
    [Bzoj1195][HNOI2006]最短母串(AC自动机)
    Ajax解决IE浏览器兼容问题
    运行eclipse弹出“Failed to load the JNI shared”解决方法
    Java表单类双击提交
  • 原文地址:https://www.cnblogs.com/Gelthin2017/p/10325305.html
Copyright © 2011-2022 走看看