zoukankan      html  css  js  c++  java
  • 信息量、信息熵、交叉熵、相对熵

    1、信息量

    “陈羽凡吸毒?!工作室不是刚辟谣了吗?哇!信息量好大!”

    在生活中,极少发生的事情最容易引起吃瓜群众的关注。而经常发生的事情则不会引起注意,比如吃瓜群众从来不会去关系明天太阳会不会东边升起。

    信息量的多少与事件发生概率的大小成反比。

    对于已发生的事件i,其所提供的信息量为: 其中底数通常为2,负号的目的是为了保证信息量不为负。

    事件i发生的概率与对应信息量的关系如下所示:

    2、信息熵(香农熵)

     所有可能发生事件所带来的信息量的期望

    3、交叉熵

     

     如果假设分布概率与真实分布概率一致,那么交叉熵 = 信息熵

    4、相对熵(KL散度)

    就是用后验分布 q 来近似先验分布 p 的时候造成的信息损失。再直白一点,就是衡量不同策略之间的差异性

    相对熵用来衡量q拟合p的过程中产生的信息损耗,损耗越少,q拟合p也就越好。

     转载  https://www.cnblogs.com/wkang/p/10068475.html

  • 相关阅读:
    UVALive
    训练指南 UVA
    训练指南 UVALive
    Codeforces Round #535 (Div. 3)
    训练指南 UVALive
    训练指南 UVALive
    Codeforces Round #534 (Div. 2)
    Codeforces Round #532 (Div. 2)
    《算法问题实战策略》——chaper9——动态规划法技巧
    《训练指南》——8.3
  • 原文地址:https://www.cnblogs.com/gaona666/p/12378613.html
Copyright © 2011-2022 走看看