zoukankan      html  css  js  c++  java
  • 浅析机器学习的主题模型和语义分析

    浅析机器学习的主题模型和语义分析

    下面和大家分享下机器学习中LDA主题模型的心得,首先从大体上来说假设有400篇文档,每一篇文档后面都m个主题,可以是 医学,教育,军事。。 那么对这400篇文档我们提取出它的词库,假设一共有L个词

    那么每一个主题后面都对应着一个词库,我们可以理解为每一个主题后面都对应着L维的一个词分布。好的接下来我们拿到一篇文档,它后面有个主题分布是m维的,那么我们从这m维的主题分布中根据分布选出一个主题,然后这个主题背后又有一个L维的词库分布,再从这个词库分布中选出一个词。然后不断地迭代,这就是LDA总体在干的事情。总体看上去好像不难,不过具体讨论到各个主题分布,以及相应的词分布时可能就有点绕了,LZ也是花了一些力气才把它理解
     那么接下来我们先讨论一个叫做beta分布东西,那么对它进行一个高维推广就是一个狄利克雷分布,这个分布,有了这两个东西,其实说白了,主题分布就一个狄利克雷(简记为dir)分布乘上一个多项分布,根据共轭分布,所以就得到一个新的狄利克雷分布,这个dir分布那么他有个参数alpha需要调参,当这个参数大于1,那么一篇文档的主题就越不明显,如果这参数小于1,那么这篇文档的主题就更加突出。接下来我们对于词分布做同样的事情,每一个词都是一个参数为alpha2的dir分布,好了那么主题分布有了,关于我们文档主题的个数m和主题分布alpha和alpha2需要自己调参的,根据实际情况。
     好了那么词分布有了,主题分布有了,我们就能做开头说的事情了,对于一篇文档,更加dir的主题分布选出主题,再根据主题后面的词分布选出词,那么我们就能选出这个主题在这篇文档中的词,或者这个词的主题关于其中的公式推动请允许LZ偷个懒(哈哈哈)很多文献中都有相关推导,其实是LZ找不到文档了
     接下来我们说gibbs采样,其实也可以说得很简单,就是假如一篇文档中有诺干个词,那么我们把其中一个词去掉z,然后看其他词对于主题分布,那么我们就能求在去掉z词之后词z的主题分布,然后从这个分布中根据概率选出一个主题,这就是这个词的主题。

  • 相关阅读:
    实验一 总结
    C#中将JObject类型数据转换成这样的货币数字-带千分符-四舍五入2位小数
    Git常用命令+报错solution
    Python Requests学习笔记
    Python requests 环境搭建
    关于Page Object个人结合测试框架的一些理解
    REST理解 + API测试学习笔记
    记录组内做API测试的流程
    理解c#的Get Set访问器及测试脚本中的应用
    tp3
  • 原文地址:https://www.cnblogs.com/amengduo/p/9586672.html
Copyright © 2011-2022 走看看