zoukankan      html  css  js  c++  java
  • 关于试验(测量),事件,随机变量,取值,概率分布,信息,信息熵的理解

    随机变量的定义:

        任何还不被知道的量就是随机变量。这是最直观的解释,还不知道的变量,也就是随机变量可能会服从某个分布,分布是有确定期望和方差的。

    用实体-联系的观点理解概率:

      每个变量都要与一个事件关联,变量依赖于事件的存在而存在,两个实体是一对一的联系;

      每个事件都要与一个试验关联,事件也依赖于试验的存在而存在,两个实体是多对一的联系;

      设变量的取值集合为S,如果在S上定义了一张映射表,这张映射表满足概率分布的性质,那么就称这个变量是一个定义了概率分布的随机变量;

      随机变量和概率分布是完全独立的两个实体,它们独立存在不依赖于对方。但是随机变量可以服从一个概率分布,两个实体是多对一的联系;

    任何实体都可以是信息载体:

      如果给定一个实体E,如果E使得某个随机变量服从了不同的概率分布,那么就称这个实体包含了关于这个随机变量的信息;(注意概率分布本身是不能被修改的,只能选择不同的分布来服从)

      每一个概率分布表都蕴含了一个参数,这个参数称为这个概率分布的信息熵,具体见公式;

      如果一个随机变量X服从的概率分布是P,如果在给出一个与X关联的信息之后,X服从了一个新的概率分布,新分布对应的信息熵与旧分布对应的信息熵的差值越大,那么这个实体包含的信息量越大。

    进一步解释:

      每一次测量或者试验,都会发生一系列事件,而且每个事件的发生必然存在于某一次试验。存在于不同试验的事件可以是有关联的,也可能是没有关联的。给定两次试验,如果分别位于两次试验中发生的所有事件对都是没有关联的,那么称两次试验是独立试验。

    举例:

      举个例子,我们想要去探讨太阳从哪个方向升起这个问题,首先必须要有一个试验:某一天;一个事件:太阳从某一方向升起;一个变量:取值东,西,南,北;一个概率分布:{东:1,西:0,南:0,北:0};

      如果现在给出一个实体,一篇文章,或者一个字符串,或者一张图片,或者一次物理学实验等等任何实体,它的出现使得变量服从了另一个概率分布:{东:0.25,西:0.25,南:0.25,北:0.25},那么这个实体就是关于变量的信息,并且包含的信息量就非常大。

  • 相关阅读:
    手写数字识别-卷积神经网络cnn(06-2)
    putty中文显示乱码解决方法
    linux可执行程序调试(c++)
    修改优化器进一步提升准确率(04-3)
    react 数组删除某一项更新setState无效的问题,react js怎么删除数组某一项,splice删除了某一项页面数据却不变
    高德地图实现一个比例圆环形聚合点缩放
    使用react context的作用React.createContext
    怎么在websotrm配置快捷启动vue-cli项目?
    vue项目找不到.eslintrc.js文件解决---帮助小白解决 'xxx' is defined but never used
    react hook性能优化使用memo、useCallback、useMemo
  • 原文地址:https://www.cnblogs.com/xinchrome/p/4857399.html
Copyright © 2011-2022 走看看