zoukankan
html css js c++ java
熵、交叉熵、相对熵(KL 散度)意义及其关系
熵:
H
(
p
)
=
−
∑
x
p
(
x
)
log
p
(
x
)
交叉熵:
H
(
p
,
q
)
=
−
∑
x
p
(
x
)
log
q
(
x
)
相对熵:
K
L
(
p
∥
q
)
=
−
∑
x
p
(
x
)
log
q
(
x
)
p
(
x
)
相对熵(relative entropy)也叫 KL 散度(
KL divergence
);
用来度量两分布之间的
不相似性
(dissimilarity);
通过交叉熵的定义,连接三者:
H
(
p
,
q
)
=
=
=
−
∑
x
p
(
x
)
log
q
(
x
)
−
∑
x
p
(
x
)
log
p
(
x
)
−
∑
x
p
(
x
)
log
q
(
x
)
p
(
x
)
H
(
p
)
+
K
L
(
p
∥
q
)
1. 简森不等式与 KL散度
K
L
(
p
∥
q
)
=
−
∫
p
(
x
)
ln
q
(
x
)
p
(
x
)
d
x
因为
−
ln
x
是凸函数,所以满足,凸函数的简森不等式的性质:
f
(
E
)
≤
E
(
f
)
这里我们令
f
(
⋅
)
=
−
ln
x
,则其是关于
x
的凸函数,因此:
E
(
f
(
)
)
≥
f
(
E
)
⇓
−
∫
p
(
x
)
ln
q
(
x
)
p
(
x
)
d
x
≥
−
ln
∫
q
(
x
)
d
x
=
0
也即 KL 散度恒大于等于 0;
查看全文
相关阅读:
PIC基础学习3
增强WebClient的同步下载功能
同步模式下的端口映射程序
.Net并行库介绍——Parallel
写了一个测试正则表达式的小工具
Windows 7下的虚拟光驱
昨天发的一篇帖子竟然上了60天点击排行榜了
.Net中的Junction Points操作
在技嘉主板上实现USB启动
正则表达式测试工具原型完成
原文地址:https://www.cnblogs.com/mtcnn/p/9422588.html
最新文章
如何查询出连续日期记录
PIC16F877A 定时器实验1
C 语言高效编程的几招
PIC16F877A开发板 普通IO驱动74595实验
PIC学习6 PORTB口
PIC16F877A单片机SPI学习
PIC16F877A开发板 数码管计数器实验
PIC基础学习4
PIC基础学习1
PIC单片机系统开机的时候,一直会复位。可能的原因是什么?
热门文章
PIC单片机关于PAGE和BANK
PIC16F877A开发板 数码管动态扫描实验
PIC16F877A开发板 SPI总线驱动74595实验
PIC16F877A TMR0定时器实验2
程序规划方法漫谈
PIC 外部中断RB0/INT试验
AVR Atmega16外部中断0的简点应用
PIC学习5定时器
PIC16F877A 内部EEPROM读写实验利用内部函数
PIC单片机学习2
Copyright © 2011-2022 走看看