zoukankan
html css js c++ java
熵、交叉熵、相对熵(KL 散度)意义及其关系
熵:
H
(
p
)
=
−
∑
x
p
(
x
)
log
p
(
x
)
交叉熵:
H
(
p
,
q
)
=
−
∑
x
p
(
x
)
log
q
(
x
)
相对熵:
K
L
(
p
∥
q
)
=
−
∑
x
p
(
x
)
log
q
(
x
)
p
(
x
)
相对熵(relative entropy)也叫 KL 散度(
KL divergence
);
用来度量两分布之间的
不相似性
(dissimilarity);
通过交叉熵的定义,连接三者:
H
(
p
,
q
)
=
=
=
−
∑
x
p
(
x
)
log
q
(
x
)
−
∑
x
p
(
x
)
log
p
(
x
)
−
∑
x
p
(
x
)
log
q
(
x
)
p
(
x
)
H
(
p
)
+
K
L
(
p
∥
q
)
1. 简森不等式与 KL散度
K
L
(
p
∥
q
)
=
−
∫
p
(
x
)
ln
q
(
x
)
p
(
x
)
d
x
因为
−
ln
x
是凸函数,所以满足,凸函数的简森不等式的性质:
f
(
E
)
≤
E
(
f
)
这里我们令
f
(
⋅
)
=
−
ln
x
,则其是关于
x
的凸函数,因此:
E
(
f
(
)
)
≥
f
(
E
)
⇓
−
∫
p
(
x
)
ln
q
(
x
)
p
(
x
)
d
x
≥
−
ln
∫
q
(
x
)
d
x
=
0
也即 KL 散度恒大于等于 0;
查看全文
相关阅读:
Python
Python
Python
Python
Python
Python
Python
python
对象
py常用模块
原文地址:https://www.cnblogs.com/mtcnn/p/9422588.html
最新文章
GitLab简单操作
快速启动电脑安装的服务
已知字典中某几个key,取每个key对应的值
如何使用F12来模拟弱网测试
Python使用新值替换旧值
python3.configparser用法
怎么使用Python创建文件并编辑?
Python怎么获取excle中指定行和列的值?
人人开源fast-vue的所有坑踩了一个遍
docker下虚拟机之间的通讯
热门文章
Docker安装Elasticsearch
nginx解决跨域问题
天气工具
定时清理文件及文件夹
ZipUtils
解压方式安装jdk
list分组统计
校验提示语智能提示项目名称
Python
Python
Copyright © 2011-2022 走看看