熵

互信息，互信息是一个随机变量包含另一个随机变量信息量的度量。熵可以看做是一个随机变量的自信息，用它可以描述随机变量的不确定度。

相对熵给出两个随机概率分布之间距离的度量。