zoukankan      html  css  js  c++  java
  • 琴生不等式

    参考资料:360百科、概率统计

    琴生不等式,又名詹森(Jensen)不等式。

    在机器学习中对凸函数的定义不同于以往在数学中接触的凹函数定义,我们把类似碗形的函数称之为凸函数,类似拱形的函数称之为凹函数。如下图所示:

    定义

    如果函数f(x)满足对定义域上任意两个x1、x2都有(f(x1)+f(x2))/2>=f((x1+x2)/2),那么f(x)为凸函数,或下凹函数。

    拓展定义

    设f(x)为凸函数,则f[(x1+x2+……+xn)/n]≤[f(x1)+f(x2)+……+f(xn)]/n(下凸);设f(x)为凹函数,f[(x1+x2+……+xn)/n]≥f(x1)+f(x2)+……+f(xn)]/n(上凸),称为琴生不等式。

    如果上面凹凸是严格的,那么不等式的等号只有x1=x2=...=xn才成立。

    加权形式为:

    f[(a1*x1+a2*x2+……+an*xn)]≤a1f(x1)+a2f(x2)+……+anf(xn)(下凸);

    f[(a1*x1+a2*x2+……+an*xn)]≥a1f(x1)+a2f(x2)+……+anf(xn)(上凸),

    其中

    ai≥0(i=1,2,……,n),且a1+a2+……+an=1。

    关于琴生不等式的结论

    如果f(x)二阶可导,而且f''(x)≥0,那么f(x)是下凸函数(凸函数);

    如果f(x)二阶可导,而且f''(x)≤0,那么f(x)是上凸函数(凹函数)。

    公式应用

    (x1^t+x2^t+...+xn^t)/n>=((x1+x2+...+xn)/n)^t,(t>1时);

    (x1^t+x2^t+...+xn^t)/n>=((x1+x2+...+xn)/n)^t,(0<t<1时);

    取f(x) = x^t。

    ((x1+x2+...+xn)/n)^n>=x1*x2*...*xn,取f(x)=log(x)。

  • 相关阅读:
    凯撒密文的破解编程实现
    微软ping命令的源代码
    从编程到入侵
    永远的后门
    永远的后门
    奇妙的Base64编码
    用端口截听实现隐藏嗅探与攻击(二)
    奇妙的Base64编码
    Liferea 1.1.2
    Equinox Desktop Environment 1.1
  • 原文地址:https://www.cnblogs.com/tgycoder/p/6164541.html
Copyright © 2011-2022 走看看