zoukankan      html  css  js  c++  java
  • 凸集,凸函数,凸优化问题。



    最近学习了一些凸优化的知识,想写几篇随笔作为总结备忘。在此篇中我们简要地介绍一点点基本概念。

    1. 凸集


      **定义1. 集合$Sinmathbb{R}^{n}(ngeq 1)$ 被称为是凸集,如果对于任意的$x,yin S$,$tin (0,1)$则 $tx+(1-t)yin S$**
    Figure 1. 一些凸集和非凸集的简单例子


    2. 仿射集


      **定义2. 集合$Sinmathbb{R}^{n}(ngeq 1)$ 被称为是仿射集,如果对于任意的$x,yin S, x eq y$,$tin mathbb{R}$则 $tx+(1-t)yin S$**

    由定义我们容易知道,仿射集只不过是由线性空间平移得到的集合,自然也是凸集。

      定义3. 我们称任意集合(Sinmathbb{R}^{n}(ngeq 1)) 的仿射包为所有包含(S)的仿射集合中最小的那一个集合,记其为(Aff; S)

    由定义我们很容易知道对于任意集合(Sinmathbb{R}^{n}(ngeq 1)), 我们有:

    [Aff; S=lbrace t_{1}x_{1}+...+t_{k}x_{k}mid t_{1},...,t_{k}inmathbb{R},x_{1},...,x_{k}in S, kgeq 1 brace ]

      除此以外,我们也会在后续接触到一个重要概念:“相对内部”(Relative Interior)。现在若(Sinmathbb{R}^{n})是某一子集,(Aff S)(S)的仿射包,则(Aff S)自然有由(mathbb{R}^{n})诱导的拓扑结构。现在我们定义:

      **定义4. 我们称(S)作为(Aff : S)的子集在(Aff :S)中其诱导拓扑意义下的内部称为相对内部,记作relint:S。 **

    定义4看着有点古板而拗口,其实它的意思也就是"(S)(Aff:S)中的内部,不是更大的(mathbb{R}^{n})中的内部"。例如对(mathbb{R}^{n})中任意的维度严格小于(n)的仿射子集(A),我们知道其在(mathbb{R}^{n})中的内部(int A)为空,但是其相对内部(relint A)就是(A)自身。



    3.凸函数



      **设某函数$f$的定义域$dom(f)inmathbb{R}^{n}$**是一个凸集,我们称该函数时一个凸函数如果对于任意的$x,yin dom(f)$, $tin (0,1)$有: egin{equation} f(tx+(1-t)y)leq tf(x)+(1-t)f(y) end{equation}

      我们容易由泰勒展开公式证明如下结论:
    定理1(凸函数的一二阶导数刻画):如果函数(f)的定义域(dom(f)inmathbb{R}^{n}) 是一凸的开集,且(f)在其上可微,则(f)是凸函数dang且仅当:对任意的(x,yin dom(f))成立有:
    egin{equation}
    f(y)geq f(x)+(y-x)cdot abla f(x).
    end{equation}
      进一步如果(f)二阶可微,则(f)凸当且仅当对任意(xin dom(f)), (f)(x)处的(Hessian)矩阵(Hess(f)(x) riangleq (frac{partial^{2}f(x)}{partial x_{i}partial x_{j}})_{n imes n})非负定。




    4.凸优化问题



      现在我们考虑一类极值(优化)问题:

    egin{equation}egin{split} ext{min}quad & f_{0}(x) ewline ext{subject to:}quad & f_{i}(x)leq 0, i=1,...,m ewline & h_{i}(x)=0, i=1,...,pend{split}end{equation}

      其中我们称函数(f_{0}: dom(f_{0})in mathbb{R}^{n}longrightarrow mathbb{R}) 为目标函数,而其后所跟随的不等号条件(f_{i}(x)leq 0, i=1,2,...,m)为不等式约束条件,(f_{i}: dom(f_{i})longrightarrow mathbb{R})((i=1,...,m))为不等式约束函数,等号条件(h_{i}(x)=0,i=1,...,p)为等式约束条件,相应的(h_{i}: dom(h_{i})longrightarrow mathbb{R})称为等式约束函数, 我们统称这些条件为约束条件,这些函数为约束函数。

      在以后的讨论中我们都用(D)表示定义域(dom(f_{i}),i=0,...,m), (dom(h_{i}),i=1,...,p)的交集, 而记集合(C=lbrace xin Dmid f_{i}(x)leq 0,i=1,...,m, h_{i}(x)=0,i=1,...,p brace),称其为优化问题(3)的可行域。注意到,(C)可能会是空集。同时,我们记(p^{ast}=inf_{xin C}f_{0}(x)), 称其为最优化问题(3)的最优值。注意到,该最优值不一定能达到, 并且当可行域(C)为空集的时候(p^{ast}=+infty)。 如果(x^{ast}in C), (f_{0}(x^{ast})=p^{ast}), 我们称(x^{ast})为最优化问题(3)的最优解。

    所谓的凸优化问题就是(3)中(f_{0},...,f_{m}), (h_{1},...,h_{p})均为凸函数而(h_{1},...,h_{p})均为仿射函数的最优化问题。我们将在以后的随笔中重地讨论之。

  • 相关阅读:
    JavaScript的学习--正则表达式
    AngularJS的学习--TodoMVC的分析
    数据可视化(6)--Google Charts实例
    数据可视化(5)--jqplot经典实例
    数据可视化(4)--jqplot
    算法与数据结构(1)--线性表
    数据可视化(3)--Google Charts
    数据可视化(2)--Justgage
    数据可视化(1)--Chart.js
    Node.js连接mysql
  • 原文地址:https://www.cnblogs.com/szqfreiburger/p/11573934.html
Copyright © 2011-2022 走看看