zoukankan
html css js c++ java
熵、交叉熵、相对熵(KL 散度)意义及其关系
熵:
H
(
p
)
=
−
∑
x
p
(
x
)
log
p
(
x
)
交叉熵:
H
(
p
,
q
)
=
−
∑
x
p
(
x
)
log
q
(
x
)
相对熵:
K
L
(
p
∥
q
)
=
−
∑
x
p
(
x
)
log
q
(
x
)
p
(
x
)
相对熵(relative entropy)也叫 KL 散度(
KL divergence
);
用来度量两分布之间的
不相似性
(dissimilarity);
通过交叉熵的定义,连接三者:
H
(
p
,
q
)
=
=
=
−
∑
x
p
(
x
)
log
q
(
x
)
−
∑
x
p
(
x
)
log
p
(
x
)
−
∑
x
p
(
x
)
log
q
(
x
)
p
(
x
)
H
(
p
)
+
K
L
(
p
∥
q
)
1. 简森不等式与 KL散度
K
L
(
p
∥
q
)
=
−
∫
p
(
x
)
ln
q
(
x
)
p
(
x
)
d
x
因为
−
ln
x
是凸函数,所以满足,凸函数的简森不等式的性质:
f
(
E
)
≤
E
(
f
)
这里我们令
f
(
⋅
)
=
−
ln
x
,则其是关于
x
的凸函数,因此:
E
(
f
(
)
)
≥
f
(
E
)
⇓
−
∫
p
(
x
)
ln
q
(
x
)
p
(
x
)
d
x
≥
−
ln
∫
q
(
x
)
d
x
=
0
也即 KL 散度恒大于等于 0;
查看全文
相关阅读:
Docker(二十一)-Docker Swarm集群部署
Docker(十八)-Docker配置DNS
Docker(十七)-修改Docker容器启动配置参数
Docker(十六)-Docker的daemon.json的作用
JavaScript实现无缝滚动 原理详细讲解
JS 数字 、中文、 英文、判断
JS常用属性方法大全
vue.js插件使用(01) vue-resource
Vue.js常见问题
web前端开发必备技术
原文地址:https://www.cnblogs.com/mtcnn/p/9422588.html
最新文章
垃圾回收机制与内存管理
探讨跨域请求资源的几种方式
理解JS中的call、apply、bind方法
electron
多线程基础
C++命名规范
service XXX start启动报start: Rejected send message, 1 matche
实现atoi函数
去除字符串首部和尾部的空格
shell中引号的作用(转)
热门文章
vim常用命令(复习版)(转)
Vim常用命令(转)—默写版
查看linux 下进程运行时间(转)
使用Storm实现实时大数据分析(转)
linux查看资源占用情况
Docker(二十六)-Docker Compose编排容器
Docker(二十五)-Docker Machine
Docker(二十四)-Docker使用Portainer搭建可视化界面
Docker(二十三)-Docker使用pipework配置本地网络
Docker(二十二)-Docker Swarm常用命令
Copyright © 2011-2022 走看看