zoukankan      html  css  js  c++  java
  • 关于试验(测量),事件,随机变量,取值,概率分布,信息,信息熵的理解

    随机变量的定义:

        任何还不被知道的量就是随机变量。这是最直观的解释,还不知道的变量,也就是随机变量可能会服从某个分布,分布是有确定期望和方差的。

    用实体-联系的观点理解概率:

      每个变量都要与一个事件关联,变量依赖于事件的存在而存在,两个实体是一对一的联系;

      每个事件都要与一个试验关联,事件也依赖于试验的存在而存在,两个实体是多对一的联系;

      设变量的取值集合为S,如果在S上定义了一张映射表,这张映射表满足概率分布的性质,那么就称这个变量是一个定义了概率分布的随机变量;

      随机变量和概率分布是完全独立的两个实体,它们独立存在不依赖于对方。但是随机变量可以服从一个概率分布,两个实体是多对一的联系;

    任何实体都可以是信息载体:

      如果给定一个实体E,如果E使得某个随机变量服从了不同的概率分布,那么就称这个实体包含了关于这个随机变量的信息;(注意概率分布本身是不能被修改的,只能选择不同的分布来服从)

      每一个概率分布表都蕴含了一个参数,这个参数称为这个概率分布的信息熵,具体见公式;

      如果一个随机变量X服从的概率分布是P,如果在给出一个与X关联的信息之后,X服从了一个新的概率分布,新分布对应的信息熵与旧分布对应的信息熵的差值越大,那么这个实体包含的信息量越大。

    进一步解释:

      每一次测量或者试验,都会发生一系列事件,而且每个事件的发生必然存在于某一次试验。存在于不同试验的事件可以是有关联的,也可能是没有关联的。给定两次试验,如果分别位于两次试验中发生的所有事件对都是没有关联的,那么称两次试验是独立试验。

    举例:

      举个例子,我们想要去探讨太阳从哪个方向升起这个问题,首先必须要有一个试验:某一天;一个事件:太阳从某一方向升起;一个变量:取值东,西,南,北;一个概率分布:{东:1,西:0,南:0,北:0};

      如果现在给出一个实体,一篇文章,或者一个字符串,或者一张图片,或者一次物理学实验等等任何实体,它的出现使得变量服从了另一个概率分布:{东:0.25,西:0.25,南:0.25,北:0.25},那么这个实体就是关于变量的信息,并且包含的信息量就非常大。

  • 相关阅读:
    如何解决MathPage.wll或MathType.dll文件找不到问题
    2-构建模型
    R语言 ur.df函数(2)
    平稳过程趋势项变点的 CUSUV 检验 秦瑞兵,郭娟
    时间序列的弱相依与强相依
    Cent OS|使用httpd发布网页
    C++练习 | 基于栈的中缀算术表达式求值(double类型
    C++练习 | 不使用头插法逆转单链表
    C++练习 | 单链表的创建与输出(结构体格式)
    C++练习 | 最长公共字符串(DP)
  • 原文地址:https://www.cnblogs.com/xinchrome/p/4857399.html
Copyright © 2011-2022 走看看