zoukankan      html  css  js  c++  java
  • [一起面试AI]NO.11 熵、联合熵、条件熵、KL散度、互信息定义

    熵在物理中是用于衡量一个热力学系统的无序程度,表达式为△S=Q/T,其中Q是吸收或者释放的热量,T是温度。

    计算机领域将其定义为离散随机事件出现的概率。一个系统越是有序信息熵就会越低;反之,系统越是混乱,信息熵就越高。

    联合熵 两个随机变量X,Y的联合分布可求得联合熵。

    条件熵 在随机变量X发生的前提下,随机变量Y带来的新的熵,即为Y的条件熵。

    其含义是衡量在已知随机变量X的条件下随机变量Y带来的新的熵即为Y的条件熵。

    KL散度 两个概率分布(probability distribution)间差异的非对称性度量。

    互信息 两个随机变量X,Y的互信息定义为X,Y的联合分布和各自独立分布乘积的KL散度。

    微信搜索全都是码农,点个关注不迷路啦!
  • 相关阅读:
    OSU!

    旅行
    序列
    致摸鱼两千年后的你
    生成函数
    小x游世界树

    画画
    OSU!
  • 原文地址:https://www.cnblogs.com/sabai/p/13237687.html
Copyright © 2011-2022 走看看