zoukankan      html  css  js  c++  java
  • 对熵和自信息的理解

    先说自信息,自信息是描述一个事件不确定度的大小(描述随机变量带来的信息大小)书上说是描述随机变量的不确定性的数量(不确定性的数量神马意思嘛),一个事件的不确定度越大,它带来的自信息也就越大,公式:-logp(x) 或者    log1/p(x) (在计算机领域里log都是以2为低的)

    比如说某一随机变量的概率为1/5  , 那么它的自信息就是5比特。(自信息的单位是bite,比特)就是说这个随机变量带来5比特的信息。

    熵就是自信息的数学期望也就(自信息的平均值),换句话说熵是信源发出的每一个符号后所带来的信息的平均值(不知道这么理解对不对),所以说熵又称为自信息,公式:Σp(xi)log1/p(xi)  ,    你看这个公式和期望的公式是很相似的。

    所以和自信息一样,熵越大,不确定度越大,正确估计它的概率越小,反之。越不确定的随机变量越需要大的信息量来确定其值。

    记得老师上课说,如果一个班级的分数都一样,那么这个班级的不确定度就越大,你无法很好的看出班级的水平,如果分数高低不等,这样就可以很好的了解这个班级的情况。(数字图像课上。。)

    确定的事情,自信息为0。

    这就是我的初次理解了,感觉还是不太懂呢~求指正和批评

  • 相关阅读:
    MySQL Show Processlist 整理
    由linkedin数据库泄漏引发的思考[转发]
    MySQL 严重 Bug 用户登陆漏洞[转发]
    关于博客的开始
    Linux共享库位置配置
    getopt详解
    git使用
    ArrayList读源码心得
    HashMap内部实现机制及优化第一篇
    如何才能做一个好网站系列 第三篇 最初的思路
  • 原文地址:https://www.cnblogs.com/ldphoebe/p/4842660.html
Copyright © 2011-2022 走看看