交叉熵

熵考察的是单个的信息（分布）的期望：

H(p)=−∑i=1np(xi)logp(xi)

交叉熵考察的是两个的信息（分布）的期望： 

H(p,q)=−∑i=1np(xi)logq(xi)