zoukankan      html  css  js  c++  java
  • 第六章 概率图模型

    概率图模型构建了这样一幅图,用观测节点表示观测到的数据,用隐含节点表示潜在的知识,用边来描述知识与数据的相互关系,最后基于这样的关系图获得一个概率分布,非常“优雅”地解决的问题。

    概率图模型包括了朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、条件随机场、主题模型等。主要在NLP领域用的较为广泛

    1 概率图模型额联合概率分布

    团:如果在X={x1,x2,...,xn}所构成的子集中,任意两点之间都存在边相连,则这个子集中的所有节点构成了一个团

    本模块涉及到的两道题属于概率论题,详见P118-119

    2 概率图表示

    Q1:解释朴素贝叶斯模型的原理,并给出概率图模型的表示。

    A1:P121

    Q2:解释最大熵模型的原理,并给出概率图模型表示。

    A2:熵就是不确定性的度量,熵越大,不确定性也就越大。最大熵原理是概率模型学习的一个准则,指导思想实在满足约束条件的模型集合中选取熵最大的模型,即不确定性最大的模型。  后续原理见P122-124

    3 生成式模型与判别式模型

    Q1:常见的概率图模型中,哪些是生成式模型,哪些是判别式模型?

    A1:生成式模型是对联合概率分布P(X,Y,Z)进行建模,在给定观测集合X的条件下,通过计算边缘分布来得到对变量集合Y的推断。

      判别式模型是直接对条件概率分布P(X,Y,Z)进行建模,然后消掉无关变量Z就可以得到对变量集合Y的预测。

      常见的概率图模型有朴素贝叶斯、最大熵模型、贝叶斯网络、隐马尔科夫模型、条件随机场、pLSA、LDA(线性判别分析)等

      生成式模型有:朴素贝叶斯、贝叶斯网络、隐马尔科夫模型、pLSA、LDA(线性判别分析)

      判别式模型有:最大熵模型、条件随机场等。

    4 马尔可夫模型

    关于概念参考https://blog.csdn.net/maverick17/article/details/79574917

    5 主题模型

    参考 https://blog.csdn.net/qq_39422642/article/details/78730662

    这两节都讲的设计NLP领域的机器学习方法。比较复杂,本人暂时未涉及到,这块 暂时放一放。

  • 相关阅读:
    BZOJ 1251 序列终结者(Splay)
    ZOJ 2112 Dynamic Rankings(动态区间第 k 大+块状链表)
    POJ 2887 Big String(块状链表)
    BZOJ 1093 [ZJOI2007] 最大半连通子图(强联通缩点+DP)
    Codeforces Beta Round #13 C. Sequence (DP)
    Codeforces Round #184 (Div. 2) E. Playing with String(博弈)
    MemSQL start[c]up Round 2
    Codeforces Round #195 A B C 三题合集 (Div. 2)
    哈密尔顿回路总结
    最大团问题
  • 原文地址:https://www.cnblogs.com/guohaoblog/p/11219916.html
Copyright © 2011-2022 走看看