<数学> 交叉熵 / KL散度

Intro

交叉熵，用来衡量两个随机变量之间的相似度。
KL散度（相对熵），量化两种概率分布P和Q之间差异。

计算公式

交叉熵
(CE(p,q) = - (sum_{i=1}^{n}[p_{i}*log(q_{i}) + (1-p_{i})*log(1-q_{i})]))

KL散度

(D_{KL}(p||q) = sum_{i=1}^{n}p_{i}*log(p_{i}/q_{i}))