zoukankan      html  css  js  c++  java
  • 信息量、信息熵、交叉熵、相对熵

    1、信息量

    “陈羽凡吸毒?!工作室不是刚辟谣了吗?哇!信息量好大!”

    在生活中,极少发生的事情最容易引起吃瓜群众的关注。而经常发生的事情则不会引起注意,比如吃瓜群众从来不会去关系明天太阳会不会东边升起。

    信息量的多少与事件发生概率的大小成反比。

    对于已发生的事件i,其所提供的信息量为: 其中底数通常为2,负号的目的是为了保证信息量不为负。

    事件i发生的概率与对应信息量的关系如下所示:

    2、信息熵(香农熵)

     所有可能发生事件所带来的信息量的期望

    3、交叉熵

     

     如果假设分布概率与真实分布概率一致,那么交叉熵 = 信息熵

    4、相对熵(KL散度)

    就是用后验分布 q 来近似先验分布 p 的时候造成的信息损失。再直白一点,就是衡量不同策略之间的差异性

    相对熵用来衡量q拟合p的过程中产生的信息损耗,损耗越少,q拟合p也就越好。

     转载  https://www.cnblogs.com/wkang/p/10068475.html

  • 相关阅读:
    日期操作
    sanchi
    502 Server dropped connection
    把项目挂载到composer上
    从composer上在本地创建一个项目
    初始化后,composer安装
    在项目目录初始化composer
    Linux安装composer
    linux网络编程之TCP/IP基础
    grep的用法
  • 原文地址:https://www.cnblogs.com/gaona666/p/12378613.html
Copyright © 2011-2022 走看看