zoukankan
html css js c++ java
熵、交叉熵、相对熵(KL 散度)意义及其关系
熵:
H
(
p
)
=
−
∑
x
p
(
x
)
log
p
(
x
)
交叉熵:
H
(
p
,
q
)
=
−
∑
x
p
(
x
)
log
q
(
x
)
相对熵:
K
L
(
p
∥
q
)
=
−
∑
x
p
(
x
)
log
q
(
x
)
p
(
x
)
相对熵(relative entropy)也叫 KL 散度(
KL divergence
);
用来度量两分布之间的
不相似性
(dissimilarity);
通过交叉熵的定义,连接三者:
H
(
p
,
q
)
=
=
=
−
∑
x
p
(
x
)
log
q
(
x
)
−
∑
x
p
(
x
)
log
p
(
x
)
−
∑
x
p
(
x
)
log
q
(
x
)
p
(
x
)
H
(
p
)
+
K
L
(
p
∥
q
)
1. 简森不等式与 KL散度
K
L
(
p
∥
q
)
=
−
∫
p
(
x
)
ln
q
(
x
)
p
(
x
)
d
x
因为
−
ln
x
是凸函数,所以满足,凸函数的简森不等式的性质:
f
(
E
)
≤
E
(
f
)
这里我们令
f
(
⋅
)
=
−
ln
x
,则其是关于
x
的凸函数,因此:
E
(
f
(
)
)
≥
f
(
E
)
⇓
−
∫
p
(
x
)
ln
q
(
x
)
p
(
x
)
d
x
≥
−
ln
∫
q
(
x
)
d
x
=
0
也即 KL 散度恒大于等于 0;
查看全文
相关阅读:
Firefox for macOS 标签关闭按钮设置在左侧
Nginx 非编译安装 stream 模块实现四层负载均衡
苹果手机卡死,强制关机方法
Git安装完成,文件夹下右键菜单不出现出现Git Bash Here 和Git UI Here问题
AESUtil
若依框架清空select2选择
RSAUtils
springboot 延时任务
Mqtt的坑,真的坑
springboot 支付宝支付业务网页端扫码
原文地址:https://www.cnblogs.com/mtcnn/p/9422588.html
最新文章
XDS API 与动态配置
Administration interface
部署和运行Envoy的常用方法
envoy 介绍
python程序检测Linux主机端口占用
18.LinuxCentOS系统根目录空间使用率100%问题?
06.Linux系统WCP知识共享平台安装部署(旗舰版)
15.LinuxCentOS系统重启网卡ping不通问题(云环境)
07.Linux系统GitLab版本控制服务安装部署
17.LinuxCentOS系统OpenStackKeystone同步数据库时报错
热门文章
02.CentOS Linux 7.7 系统配置文档
14.LinuxCentOS系统proc文件系统丢失
16.LinuxCentOS系统进入单用户模式修改root用户密码操作
08.Linux系统Fastdfs分布式文件系统互为主从配置搭建部署
01.LinuxCentOS系统清理缓存脚本
ESPIDF v5.0 Python requirements not satisfied "idfcomponentmanager>=0.2.99beta"
Windows Server 2016域控制器升级到Windows Server 2022遇到的问题记录Fix error 0x800F081E – 0x20003
vscode编译espidf项目时编译正常,但部分代码下有下划线,提示未定义标识符的解决办法,代码补全及函数跳转
python NonUTF8 code starting with '\xe7' 的中解决办法
Python3 SQLAlchemy(转)
Copyright © 2011-2022 走看看