zoukankan      html  css  js  c++  java
  • 【统计学习方法】附录C 拉格朗日对偶性

    1. 原始优化问题等价拉格朗日的极小极大问题

    原始优化问题
    在这里插入图片描述
    ci(x)c_i(x)为不等式约束
    hj(x)h_j(x)为等式约束

    广义拉格朗日函数
    在这里插入图片描述
    其中αj,βjalpha_j,eta_j称为拉格朗日乘子,αi0alpha_i ge 0

    考虑以下关于x的函数:
    在这里插入图片描述
    有:
    在这里插入图片描述
    θp(x) heta_p(x)的极小化问题就等价于原优化问题:
    在这里插入图片描述
    minxθp(x)min_x heta_p(x)则称为广义拉格朗日函数的极小极大问题

    2. 对偶问题

    原始问题的对偶问题为广义拉格朗日函数的极大极小问题,即:
    在这里插入图片描述

    3. 原问题和对偶问题的关系

    定理1
    原优化问题与对偶问题最优值的关系:
    dpd^* le p^*

    定理2
    当原优化问题为凸优化问题,且满足slater条件时则存在x,α,βx^*, alpha^*,eta^*使得:
    p=d=L(x,α,β)p^* = d^* = L(x^*, alpha^*,eta^*)
    即对原优化问题的求解可以转化为对对偶问题的求解。

    凸优化问题满足两个条件:

    1. 可行域为凸集;(可行域中任意两点之间的连线人在该可行域中)
    2. 函数为凸函数
      slater条件是指,凸集的交集有内点。(凸集的交集仍为凸集,但不一定有内点)

    定理3
    x,α,βx^*, alpha^*,eta^*满足KKT条件,则x,α,βx^*, alpha^*,eta^*为原问题和对偶问题的解。(前提是满足定理2成立的条件)

  • 相关阅读:
    数组的简单操方法
    Java Script 流程控制语句(if判断、switch选择和循环)
    HTML,表单
    CSS盒子定位
    CSS基础选择器简单介绍
    java操作redis
    ios选择城市
    格式化java对象为json
    java冒泡排序法
    mongoDB group分组
  • 原文地址:https://www.cnblogs.com/bitbitbyte/p/12536589.html
Copyright © 2011-2022 走看看