zoukankan
html css js c++ java
熵、交叉熵、相对熵(KL 散度)意义及其关系
熵:
H
(
p
)
=
−
∑
x
p
(
x
)
log
p
(
x
)
交叉熵:
H
(
p
,
q
)
=
−
∑
x
p
(
x
)
log
q
(
x
)
相对熵:
K
L
(
p
∥
q
)
=
−
∑
x
p
(
x
)
log
q
(
x
)
p
(
x
)
相对熵(relative entropy)也叫 KL 散度(
KL divergence
);
用来度量两分布之间的
不相似性
(dissimilarity);
通过交叉熵的定义,连接三者:
H
(
p
,
q
)
=
=
=
−
∑
x
p
(
x
)
log
q
(
x
)
−
∑
x
p
(
x
)
log
p
(
x
)
−
∑
x
p
(
x
)
log
q
(
x
)
p
(
x
)
H
(
p
)
+
K
L
(
p
∥
q
)
1. 简森不等式与 KL散度
K
L
(
p
∥
q
)
=
−
∫
p
(
x
)
ln
q
(
x
)
p
(
x
)
d
x
因为
−
ln
x
是凸函数,所以满足,凸函数的简森不等式的性质:
f
(
E
)
≤
E
(
f
)
这里我们令
f
(
⋅
)
=
−
ln
x
,则其是关于
x
的凸函数,因此:
E
(
f
(
)
)
≥
f
(
E
)
⇓
−
∫
p
(
x
)
ln
q
(
x
)
p
(
x
)
d
x
≥
−
ln
∫
q
(
x
)
d
x
=
0
也即 KL 散度恒大于等于 0;
查看全文
相关阅读:
使用数据(二)
lambda表达式
方法引用::
开发 Web 应用(一)
Spring基础(三)
Spring基础(二)
Spring 基础(一)
项目实践之Ajax 技术使用教程
项目实践之前后端分离详解
考研计算机基础:构造算法与自上而下逐步完善:实例研究3(嵌套控制结构)
原文地址:https://www.cnblogs.com/mtcnn/p/9422587.html
最新文章
C# 中的委托和事件
转:C# 泛型编程之泛型类、泛型方法、泛型约束
转:ASP.NET MVC 3 and App_Code folder
转:EF调用存储过程、函数
关于Encoding.GetEncoding("utf-8")和Encoding.GetEncoding("GB2312")及Encoding.Default
中文字符集编码Unicode ,gb2312 , cp936 ,GBK,GB18030
js中的事件委托
转:jQuery对象与dom对象的转换
Linq JsRender
流程图附件上传问题总结
热门文章
Oracle
Windows下使用VisualSVN Server搭建SVN服务器
Oracle学习
JDK 环境变量配置
RSA加密
SSL
微信例子
JAVA微信开发-新手接入指南
终结者模式
使用数据(三)
Copyright © 2011-2022 走看看