集合和事件之间的互信息 定义：
平均互信息：定义
平均互信息I(X;Y)其实就是前面提到的互信息I(x;y)在两个概率空间X和Y中求统计平均的结果，它是从整体上表示一个随机变量Y所给出的关于另一个随机变量X的信息量。
平均互信息与熵之间的关系：
物理意义：在通信系统中，H(X)代表接收到输出符号以前关于输入变量X的不确定性。而H(Y|X)代表接收到输出符号后关于输入变量X的平均不确定性。二者之差表示接收端所获得的信息量，即平均互信息。 可见，通过信道传输消除了一些不确定性，获得了一定的信息，而平均互信息就代表接收到输出符号之后平均每个符号获得的关于输入端X的信息量。
平均互信息的性质
1.非负性 2、互易性
平均互信息的非负性告诉我们，从整体和平均意义上来说，一个随机变量集合提供的关于另一个随机变量集合的信息量不会是负值，最差的情况是0.