信息熵，联合熵，交叉熵，相对熵，条件熵

1 信息熵：信息量的期望，反映随机变量的不确定性

     H(X)=-∑_x→Xp(x)log(p(x))

     H(X)=I(X;Y)+H(X|Y)

    

2 联合熵：表示多个随机变量一起发生的不确定性

   H(X,Y)=-∑_x->X∑_y->Yp(x,y)log(p(x,y))

   H(X,Y)=H(X)+H(Y|X)

  

3 条件熵：已知某个变量的条件下，另一个变量的不确定性

   H(X|Y)=∑P(x)H(X|Y=y)

             =-∑p(x)∑P(x|y)log(p(x|y))

             =-∑p(x,y)log(p(x|y))

   H(X|Y)=H(XY)-H(Y)

   

4 相对熵：反映两个概率分布的相似度

    D(p||q)=∑p(x)log(p(x)/q(x))

    D(p||q)=H(p,q)-H(p)

    具有非对称性

5 交叉熵：

    H(p,q)=-∑p(x)log(q(x))