zoukankan      html  css  js  c++  java
  • 数学概念的提出(一) —— 熵的定义式 H(x)=-log2(p(x))

    h(x)=log2p(x)

    考虑一个离散型随机变量 x,当我们观测到该变量的一个特定值,问此时我们通过该值获得的关于该变量的信息量是多少?

    • 信息量可视为“意外的程度”(degree of surprise)关于对该随机变量 x 的掌握;
    • 如果该事件发生了,而我们事先被告知,该事件极不可能(highly improbable)发生,将会比被告知该事件极极可能发生(very likely)获得更可能多的信息,
      • 又或者当我们确定(certain)该变量会发生,且事件确实发生时,我们获得的信息是零(从信息——意外的程度,的观点来看的话)

    由以上的感性判断可知:

    • 信息的度量与随机变量的概率分布(p(x))有关,或者说取决于随机变量的概率分布(p(x)
    • 因此我们定义 h(x)p(x) 的单调函数,
    • 如果两事件 xy 彼此无关,因此,可知 h(x,y)=h(x)+h(y),二者无关时,由概率论的知识可知,p(x,y)=p(x)p(y)

    h(x)=log2p(x)

  • 相关阅读:
    struts.xml
    web.xml
    jdbc.properties
    apache+tomcat的集群--Session复制配置
    mysql 定时触发器
    mysql 查看存储过程
    Quatz 定时任务
    Apache Httpd常用命令
    Mac安装nginx
    dubbo ReferenceConfig源码分析
  • 原文地址:https://www.cnblogs.com/mtcnn/p/9422540.html
Copyright © 2011-2022 走看看