信息量
它是用来衡量一个事件的不确定性的；一个事件发生的概率越大，不确定性越小，则它所携带的信息量就越小。假设$X$是一个离散型的随机变量，其取值集合为$X$ = (x_0，x_1...x_n),其概率分布函数为$p(x) = Pr(X = x),xin X$,则定义事件$X = x_0$的信息量为： (I(x_i)=-log(p(x_i))) 当$p(x_0) = 1$ 时，该事必定发生，其信息量为0。
熵
熵用来衡量一个系统的混乱程度，代表系统中信息量的总和；熵值越大，表明这个系统的不确定性就越大。
信息量是衡量某个事件的不确定性，而熵是衡量一个系统（所有事件）的不确定性。
熵的计算公式:
其中，(p(x_i)为事件X = x_i的概率，-log(p(x_i))为事件X = x_i 的信息量。)
可以看出，熵是信息量的期望值，是一个随机变量（一个系统，事件所有可能性）不确定性的度量。熵值越大，随机变量的取值就越难确定，系统也就越不稳定；熵值越小，随机变量的取值也就越容易确定，系统越稳定。
交叉熵 Cross Entropy
交叉熵主要是用来判定实际的输出与期望的输出的接近程度，也就是交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出，概率分布q为实际输出，$H(p,q)$为交叉熵，则表达式
（1）二分类
N表示一个batch的样本数
(p(x_i)) 表示样本i的label，正类为1，负类为0
(q(x_i)) 表示样本i预测为正的概率
（2）多分类
M表示类别数
(p(x_{ij})) 表示变量（0或1）,如果该类别和样本i的类别相同就是1，否则是0；
(q(x_{ij})) 表示对于观测样本i属于类别$j$的预测概率。
例如： | X| 猫| 狗 | 鸟 | |-------|:---:|-----------|---| | Label| 0| 0| 1 | | Pred| 0.1 | 0.1| 0.8 |
那么一个样本的loss为： (loss= -(0 * log(0.1)+0*log(0.1)+1*log(0.8)) = 0.22)