zoukankan      html  css  js  c++  java
  • 琴生不等式

    参考资料:360百科、概率统计

    琴生不等式,又名詹森(Jensen)不等式。

    在机器学习中对凸函数的定义不同于以往在数学中接触的凹函数定义,我们把类似碗形的函数称之为凸函数,类似拱形的函数称之为凹函数。如下图所示:

    定义

    如果函数f(x)满足对定义域上任意两个x1、x2都有(f(x1)+f(x2))/2>=f((x1+x2)/2),那么f(x)为凸函数,或下凹函数。

    拓展定义

    设f(x)为凸函数,则f[(x1+x2+……+xn)/n]≤[f(x1)+f(x2)+……+f(xn)]/n(下凸);设f(x)为凹函数,f[(x1+x2+……+xn)/n]≥f(x1)+f(x2)+……+f(xn)]/n(上凸),称为琴生不等式。

    如果上面凹凸是严格的,那么不等式的等号只有x1=x2=...=xn才成立。

    加权形式为:

    f[(a1*x1+a2*x2+……+an*xn)]≤a1f(x1)+a2f(x2)+……+anf(xn)(下凸);

    f[(a1*x1+a2*x2+……+an*xn)]≥a1f(x1)+a2f(x2)+……+anf(xn)(上凸),

    其中

    ai≥0(i=1,2,……,n),且a1+a2+……+an=1。

    关于琴生不等式的结论

    如果f(x)二阶可导,而且f''(x)≥0,那么f(x)是下凸函数(凸函数);

    如果f(x)二阶可导,而且f''(x)≤0,那么f(x)是上凸函数(凹函数)。

    公式应用

    (x1^t+x2^t+...+xn^t)/n>=((x1+x2+...+xn)/n)^t,(t>1时);

    (x1^t+x2^t+...+xn^t)/n>=((x1+x2+...+xn)/n)^t,(0<t<1时);

    取f(x) = x^t。

    ((x1+x2+...+xn)/n)^n>=x1*x2*...*xn,取f(x)=log(x)。

  • 相关阅读:
    定时器
    Vue CLI环境变量
    负数的二进制表示方法
    IDEA指定启动JDK版本
    Windows7安装两个jdk配置
    Bloom Filter 数据结构去重
    新浪微博爬虫参考
    Spring Data JPA
    Spring的JDBC框架
    数据库连接池:Druid
  • 原文地址:https://www.cnblogs.com/tgycoder/p/6164541.html
Copyright © 2011-2022 走看看