zoukankan      html  css  js  c++  java
  • JS散度(Jensen-Shannon)

    JS散度相似度衡量指标。

    https://blog.csdn.net/wateryouyo/article/details/52831115

    https://blog.csdn.net/FrankieHello/article/details/80614422?utm_source=copy 

    KL散度、JS散度和交叉熵

    三者都是用来衡量两个概率分布之间的差异性的指标。不同之处在于它们的数学表达。

    对于概率分布P(x)和Q(x)

    1)KL散度(Kullback–Leibler divergence)

    又称KL距离,相对熵。

    当P(x)和Q(x)的相似度越高,KL散度越小。

    KL散度主要有两个性质:

    (1)不对称性

    尽管KL散度从直观上是个度量或距离函数,但它并不是一个真正的度量或者距离,因为它不具有对称性,即D(P||Q)!=D(Q||P)。

    (2)非负性

    相对熵的值是非负值,即D(P||Q)>0。

    2)JS散度(Jensen-Shannon divergence)

    JS散度也称JS距离,是KL散度的一种变形。

    但是不同于KL主要又两方面:

    (1)值域范围

    JS散度的值域范围是[0,1],相同则是0,相反为1。相较于KL,对相似度的判别更确切了。

    (2)对称性

    即 JS(P||Q)=JS(Q||P),从数学表达式中就可以看出。

    3)交叉熵(Cross Entropy)

    在神经网络中,交叉熵可以作为损失函数,因为它可以衡量P和Q的相似性。

    交叉熵和相对熵的关系:

    以上都是基于离散分布的概率,如果是连续的数据,则需要对数据进行Probability Density Estimate来确定数据的概率分布,就不是求和而是通过求积分的形式进行计算了。

  • 相关阅读:
    做前端的一些小工具
    分析几种编程语言对JSON的支持程度
    注册中心eureka
    搭建分布式配置中心
    接口幂等性
    分布式限流
    服务容错解决方案
    微服务架构认知
    gateWay
    JWT鉴权
  • 原文地址:https://www.cnblogs.com/Ph-one/p/12304004.html
Copyright © 2011-2022 走看看