1、信息量
“陈羽凡吸毒?!工作室不是刚辟谣了吗?哇!信息量好大!”
在生活中,极少发生的事情最容易引起吃瓜群众的关注。而经常发生的事情则不会引起注意,比如吃瓜群众从来不会去关系明天太阳会不会东边升起。
信息量的多少与事件发生概率的大小成反比。
对于已发生的事件i,其所提供的信息量为: 其中底数通常为2,负号的目的是为了保证信息量不为负。
事件i发生的概率与对应信息量的关系如下所示:
2、信息熵(香农熵)
所有可能发生事件所带来的信息量的期望
3、交叉熵
如果假设分布概率与真实分布概率一致,那么交叉熵 = 信息熵。
4、相对熵(KL散度)
就是用后验分布 q 来近似先验分布 p 的时候造成的信息损失。再直白一点,就是衡量不同策略之间的差异性
相对熵用来衡量q拟合p的过程中产生的信息损耗,损耗越少,q拟合p也就越好。
转载 https://www.cnblogs.com/wkang/p/10068475.html