zoukankan
html css js c++ java
熵、交叉熵、相对熵(KL 散度)意义及其关系
熵:
H
(
p
)
=
−
∑
x
p
(
x
)
log
p
(
x
)
交叉熵:
H
(
p
,
q
)
=
−
∑
x
p
(
x
)
log
q
(
x
)
相对熵:
K
L
(
p
∥
q
)
=
−
∑
x
p
(
x
)
log
q
(
x
)
p
(
x
)
相对熵(relative entropy)也叫 KL 散度(
KL divergence
);
用来度量两分布之间的
不相似性
(dissimilarity);
通过交叉熵的定义,连接三者:
H
(
p
,
q
)
=
=
=
−
∑
x
p
(
x
)
log
q
(
x
)
−
∑
x
p
(
x
)
log
p
(
x
)
−
∑
x
p
(
x
)
log
q
(
x
)
p
(
x
)
H
(
p
)
+
K
L
(
p
∥
q
)
1. 简森不等式与 KL散度
K
L
(
p
∥
q
)
=
−
∫
p
(
x
)
ln
q
(
x
)
p
(
x
)
d
x
因为
−
ln
x
是凸函数,所以满足,凸函数的简森不等式的性质:
f
(
E
)
≤
E
(
f
)
这里我们令
f
(
⋅
)
=
−
ln
x
,则其是关于
x
的凸函数,因此:
E
(
f
(
)
)
≥
f
(
E
)
⇓
−
∫
p
(
x
)
ln
q
(
x
)
p
(
x
)
d
x
≥
−
ln
∫
q
(
x
)
d
x
=
0
也即 KL 散度恒大于等于 0;
查看全文
相关阅读:
Privacy Policy
privacy
将一个无法一次读入内存的大文件排序
java实现二叉树的非递归遍历
java静态方法同步问题
关于java静态方法继承问题
Android 代码写布局
Android自定义ImageView实现手势放大图片的控件,无需依赖任何第三方。
Gradle版本更换问题
Android的AlertDialog实现圆角边框
原文地址:https://www.cnblogs.com/mtcnn/p/9422587.html
最新文章
传统web项目搭建学习
docker 用nginx 部署 node应用
Linux系统Docker配置阿里云镜像加速器
Access denied for user 'root'@'localhost'问题的解决
报错1251
docker 安装 mysql
手机APP上中下三层
关于muse-ui 图片不显示的办法。
easyui datagrid 动态生成列
Spring用gradle构建restful websrevice
热门文章
创建mysql表出错
mysql> select * f
mysql> insert into tb values (6,'66') -> ;
root@mysqlproxy-Compaq:~# mysql -uhpproxy -p1234 -P4040 -h 192.168.19.110
ps -A|grep mysql
eclipse 无tomcat
ubuntu 大小写 二进制日志 修改无效
主从配置2
ubuntu mysql 启动不了服务
Wood Block Puzzle Crush
Copyright © 2011-2022 走看看