信息增益与熵

1.信息熵

熵表示任何一种能量在空间中分布的均匀程度。能量分布得越均匀，熵就越大。后来香农将其引入到信息论中称为信息熵。信息熵在随机事件发生之前，它是结果不确定性的量度；在随机事件发生之后，它是人们从该事件中所得到信息量。

对于给定的概率分布，则该分布传递的信息量即P的熵为

熵的公式表明，概率分布越均匀，其所携带的信息量越大。

2.信息增益

首先给出信息增益的定义：
令X为随机变量,则X的信息熵定义为:

通过观测随机变量Y随机变量X的信息熵变为:

其中代表随机变量X的先验概率，代表观测到随机变量Y后随机变量X的后验概率。

引入随机变量Y的信息后，随机变量X的信息熵，即引入Y后，X的不确定程度会变小或保持不变。若Y与X不相关，则；若Y与X相关,则，差值越大, 对应Y与X的相关性越强。

因此，定义信息增益为与的差值，反映了Y与X的相关程度， 越大，则变量Y与X的相关性越强。

而且，可以证明，信息增益具有对称性，即。另外，为了对信息增益进行归一化，可采用下式,同理有。