murongxixi的凸优化笔记

http://www.cnblogs.com/murongxixi/p/3598645.html

在前两节里已经涉及到集合的相对内部与闭包的概念，这一节我们深入研究它们的性质和计算，之后介绍凸函数的连续性以及函数闭包的概念。

设凸集(C)是(mathbb{R}^n)的非空子集，由命题1.1.2(4)知，其闭包(cl(C))是非空凸集，其内部(int(C))也是凸集，但是可能是空的((mathbb{R}^3)中的集合(S={ oldsymbol{x} in mathbb{R}^3 | x_1^2 + x_2^2 leq 1, x_3 = 1 })就是如此)，为此我们需要引入相对内部的定义。

集合(C)是非空凸集，若(oldsymbol{x} in C)且存在一个以(oldsymbol{x})为球心的开球(B(oldsymbol{x}, varepsilon))满足(B cap aff(C) subseteq C)，则称(oldsymbol{x})是(C)的相对内部点(relative interior point)，(C)的所有相对内部点的集合称作(C)的相对内部(relative interior)，记为(ri(C))。若(ri(X) = X)，则称集合(X)是相对开的，(cl(X))中不属于(ri(X))的点称为(X)的相对边界点(relative boundary point)，(C)的所有相对边界点的集合称作(C)的相对边界(relative boundary)。

我们约定单点集的相对内部就是它本身。继续考虑之前那个例子，可以发现虽然(int(S) = emptyset)，但(ri(S) = { oldsymbol{x} in mathbb{R}^3 | x_1^2 + x_2^2 < 1, x_3 = 1 })，已经不再是空集了。

命题1.3.1：集合(C)是非空凸集，若(oldsymbol{x} in ri(C))，(ar{oldsymbol{x}} in cl(C))，则连接(oldsymbol{x})和(ar{oldsymbol{x}})的线段上，除(ar{oldsymbol{x}})外的所有点都属于(ri(C))。

证明：参考右图，分两种情况：

若(ar{oldsymbol{x}} in C)，由于(oldsymbol{x} in ri(C))，故存在开球(S = {oldsymbol{z} | ||oldsymbol{z} - oldsymbol{x}|| < epsilon})使得(S cap aff(C) subseteq C)。对于任意(alpha in (0,1])，设(oldsymbol{x}_alpha = alpha oldsymbol{x} + (1 - alpha) ar{oldsymbol{x}})且(S_alpha = {oldsymbol{z} | ||oldsymbol{z} - oldsymbol{x}_alpha|| < alpha epsilon} )，于是(S_alpha cap aff(C))中的任意一点都可以看成(S cap aff(C))中某点与(ar{oldsymbol{x}})的凸组合，由(C)的凸性知(S_alpha cap aff(C) subseteq C)，故(oldsymbol{x}_alpha in ri(C))。

若(ar{oldsymbol{x}} ot in C)，由于(oldsymbol{x} in ri(C))，故存在开球(S = {oldsymbol{z} | ||oldsymbol{z} - oldsymbol{x}|| < epsilon})使得(S cap aff(C) subseteq C)。对于任意(alpha in (0,1])，设(oldsymbol{x}_alpha = alpha oldsymbol{x} + (1 - alpha) ar{oldsymbol{x}})，下面证明(oldsymbol{x}_alpha in ri(C))。考虑收敛于(ar{oldsymbol{x}})的序列({oldsymbol{x}_k} subseteq C)，设(oldsymbol{x}_{k,alpha} = alpha oldsymbol{x} + (1 - alpha) oldsymbol{x}_k)，显然({ oldsymbol{z} | ||oldsymbol{z} - oldsymbol{x}_{k,alpha} || < alpha epsilon} cap aff(C) subseteq C)。 又(oldsymbol{x}_{k,alpha} ightarrow oldsymbol{x}_alpha)，故当(k)足够大时有egin{align*} { oldsymbol{z} | ||oldsymbol{z} - oldsymbol{x}_alpha || < alpha epsilon / 2} subseteq { oldsymbol{z} | ||oldsymbol{z} - oldsymbol{x}_{k,alpha} || < alpha epsilon } end{align*} 这意味着({ oldsymbol{z} | ||oldsymbol{z} - oldsymbol{x}_alpha || < alpha epsilon / 2} cap aff(C) subseteq C )，故(oldsymbol{x}_alpha in ri(C))。

直观看来，命题1.3.1很简单，但是证明叙述起来却挺麻烦，它的一个推论是如下命题，也是一个直观很简单证明起来很麻烦的命题。

命题1.3.2：集合(C)是非空凸集，则

1. (ri(C))是非空凸集且(aff(ri(C)) = aff(C))。
2. 若(aff(C))的维度为(m > 0)，那么存在(oldsymbol{x}_0, oldsymbol{x}_1, dots, oldsymbol{x}_m in ri(C))使得(oldsymbol{x}_1 - oldsymbol{x}_0, dots, oldsymbol{x}_m - oldsymbol{x}_0)张成平行于(aff(C))的子空间。

证明：

1. 由命题1.3.1知(ri(C))是凸的，下面证明其非空，不妨设(oldsymbol{0} in C)，否则可以将(C)平移使其包含(oldsymbol{0} )，这不影响结论，这样(aff(C))就是一个(m)维子空间了。 
   如果(m = 0)，那么(C)和(aff(C))就是一个点，由于单点集的相对内部就是它本身，故此时(ri(C))非空。若(m > 0)，那么可以找到(m)个线性无关的向量(oldsymbol{z}_1, dots, oldsymbol{z}_m in C)张成了(aff(C))，即(oldsymbol{z}_1, dots, oldsymbol{z}_m)是(aff(C))的一组基。考虑集合egin{align*}X = left{ oldsymbol{x} | oldsymbol{x} = sum_{i=1}^m alpha_i oldsymbol{z}_i, sum_{i=1}^m alpha_i < 1, alpha > 0,i = 1, dots, m ight},end{align*}如右图所示，由于(C)的凸性，于是(X subseteq C)(可以将(X)中的所有元素视为(oldsymbol{z}_1, dots, oldsymbol{z}_m, oldsymbol{0} )的凸组合)。下面证明(X)是(aff(C))中的相对开集，对于(forall ar{oldsymbol{x}} in X)，设(oldsymbol{x} in aff(C))，那么有(ar{oldsymbol{x}} = oldsymbol{Z} ar{oldsymbol{alpha}})和(oldsymbol{x} = oldsymbol{Z} oldsymbol{alpha} )，其中(oldsymbol{Z} = [oldsymbol{z}_1, dots, oldsymbol{z}_m] in mathbb{R}^{n imes m})，(ar{oldsymbol{alpha}})和(oldsymbol{alpha})分别是唯一的(m)维向量((oldsymbol{z}_1, dots, oldsymbol{z}_m)是(aff(C))的一组基)。易知(oldsymbol{Z}^ op oldsymbol{Z})对称半正定，又(oldsymbol{Z})满秩，故(oldsymbol{Z}^ op oldsymbol{Z})正定，由Rayleigh's不等式知，存在(gamma geq lambda_{min}(oldsymbol{Z}^ op oldsymbol{Z}))满足 egin{align} label{equ: Rayleigh} || oldsymbol{x} - ar{oldsymbol{x}} ||^2 = (oldsymbol{alpha} - ar{oldsymbol{alpha}})^ op oldsymbol{Z}^ op oldsymbol{Z}^ op (oldsymbol{alpha} - ar{oldsymbol{alpha}}) geq gamma ||oldsymbol{alpha} - ar{oldsymbol{alpha}}||^2, end{align} 其中，(lambda_{min}(oldsymbol{Z}^ op oldsymbol{Z}))是(oldsymbol{Z}^ op oldsymbol{Z})的最小特征值。由于(ar{oldsymbol{x}} in X)，故(ar{oldsymbol{alpha}} in A)，其中 egin{align*}A = left{ (alpha_1, dots, alpha_m) | sum_{i=1}^m alpha_i < 1, alpha > 0,i = 1, dots, m ight}, end{align*} 
   由式( ef{equ: Rayleigh})可知(|| oldsymbol{x} - ar{oldsymbol{x}} ||^2 ightarrow0)时有(|| oldsymbol{alpha} - ar{oldsymbol{alpha}} ||^2 ightarrow0)，即如果(oldsymbol{x})在以(ar{oldsymbol{x}})为球心的充分小的球里，则(oldsymbol{alpha} in A)，故(oldsymbol{x} in X)，这意味着存在一个以(ar{oldsymbol{x}})为球心的充分小的球(B)使得(B cap aff(C) in X)，由(ar{oldsymbol{x}})的任意性知(X)中的每个点都是(C)的相对内部点，故(ri(C)) 是非空。由(X)的构造过程易知(aff(X) = aff(C))，又(X subseteq ri(C))，故(aff(ri(C)) = aff(C))。
2. 由(a)中证明知(ri(C))非空，故至少存在(oldsymbol{x}_0 in ri(C))，将(C)平移(oldsymbol{x}_0)，即将(oldsymbol{x}_0)移到原点，新的集合为(C - oldsymbol{x}_0)，设(oldsymbol{z}_1, dots, oldsymbol{z}_m in C - oldsymbol{x}_0)且张成了(C - oldsymbol{x}_0)，(alpha in (0, 1))，因为(oldsymbol{0} in ri(C - oldsymbol{x}_0))，由命题1.3.1知，(alpha oldsymbol{z}_i in C - oldsymbol{x}_0, i = 1, dots, m)，这意味着(oldsymbol{x}_i = oldsymbol{x}_0 + alpha oldsymbol{z}_i in ri(C), i = 1, dots, m)且(oldsymbol{x}_1 - oldsymbol{x}_0, dots, oldsymbol{x}_m - oldsymbol{x}_0)张成了(aff(C))。

下面这个命题也是命题1.3.1的一个推论，直观来说，它陈述了这样一个显而易见的事实，如果一个点是某个非空凸集的相对内部点，那么以该点为端点且属于该凸集的任意线段在该点处延长一小段后都不会离开该凸集。

命题1.3.3：集合(C)是非空凸集，(oldsymbol{x} in ri(C))当且仅当对(forall ar{oldsymbol{x}} in C)，存在(gamma > 0)使得(oldsymbol{x} + gamma(oldsymbol{x} - ar{oldsymbol{x}}) in C)。

证明：一方面，若(oldsymbol{x} in ri(C))，由相对内部点的定义知对(forall ar{oldsymbol{x}} in C)，存在(gamma > 0)使得(oldsymbol{x} + gamma(oldsymbol{x} - ar{oldsymbol{x}}) in C)。

另一方面，若(oldsymbol{x})满足所给条件，设(ar{oldsymbol{x}} in ri(C))(由命题1.3.2知(ar{oldsymbol{x}}) 存在)，若(oldsymbol{x} = ar{oldsymbol{x}})，结论已成立，不妨设(oldsymbol{x} eq ar{oldsymbol{x}})，由所给条件，存在(gamma > 0) 使得(oldsymbol{y} = oldsymbol{x} + gamma(oldsymbol{x} - ar{oldsymbol{x}}) in C)，即(oldsymbol{x})在以(oldsymbol{y})和(ar{oldsymbol{x}})为端点的线段的内部，又(ar{oldsymbol{x}} in ri(C))，(oldsymbol{y} in C)，由命题1.3.1知(oldsymbol{x} in ri(C))。

今后我们将会看到，相对内部这个概念在凸优化和对偶理论里是无处不在的，下面这个命题就是一个例子。

命题1.3.4：集合(C)是(mathbb{R}^n)的非空凸子集，(f: X mapsto mathbb{R})是凹函数，设 egin{align*} X^* = left{ oldsymbol{x}^* in X | f(oldsymbol{x}^*) = inf_{oldsymbol{x} in X} f(oldsymbol{x}) ight}. end{align*}若(X^*)包含(X)的相对内部点，则(f)必是(X)上的常数函数，也即(X^* = X)。

证明：设(oldsymbol{x}^* in X^* cap ri(X))，(oldsymbol{x})是(X)中任意向量，由命题1.3.3知存在(gamma > 0)使得 egin{align*} hat{oldsymbol{x}} = oldsymbol{x}^* + gamma (oldsymbol{x}^* - oldsymbol{x}) in X end{align*} 又 egin{align*} oldsymbol{x}^* = frac{1}{gamma+1} hat{oldsymbol{x}} + frac{gamma}{gamma+1} oldsymbol{x} end{align*} 由(f)的凹性知 egin{align*} f(oldsymbol{x}^*) geq frac{1}{gamma+1} f(hat{oldsymbol{x}}) + frac{gamma}{gamma+1} f(oldsymbol{x}) end{align*} 由于(f(hat{oldsymbol{x}}) geq f(oldsymbol{x}^*))，(f(oldsymbol{x}) geq f(oldsymbol{x}^*))，代入上式可得 egin{align*} f(oldsymbol{x}^*) geq frac{1}{gamma+1} f(hat{oldsymbol{x}}) + frac{gamma}{gamma+1} f(oldsymbol{x}) geq frac{1}{gamma+1} f(oldsymbol{x}^*) + frac{gamma}{gamma+1} f(oldsymbol{x}^*) = f(oldsymbol{x}^*), end{align*} 故(f(oldsymbol{x}) = f(oldsymbol{x}^*))。

注意线性函数也是凹函数，因此由命题1.3.4可知，除非线性函数在整个可行域上为常数，否则只可能在可行域的相对边界取得极值。

---

为了今后处理问题方便，我们有必要建立起相对内部和闭包的运算法则，总结起来就是下面的5个命题。

1. 两个非空凸集有相同的闭包当且仅当它们有相同的相对内部(命题1.3.5)。
2. 在线性变换下，相对内部可以保持，闭包不一定能保持，保持的前提是该非空凸集有界(命题1.3.6)。
3. 在Cartesian积下，相对内部和闭包都可以保持；在向量加和下，相对内部可以保持，闭包不一定能保持，保持的前提是至少其中一个非空凸集有界(命题1.3.7)。
4. 在线性逆变换积下，相对内部和闭包都可以保持(命题1.3.8)。
5. 在集合交下，相对内部和闭包都不一定能保持，保持的前提是两个集合的相对内部的交集非空(命题1.3.9)。

命题1.3.5：集合(C)是非空凸集，那么

1. (cl(C) = cl(ri(C)))。
2. (ri(C) = ri(cl(C)))。
3. 设(ar{C})是另一个非空凸集，则如下3个条件等价：
• (C)和(ar{C})有相同的相对内部。
• (C)和(ar{C})有相同的闭包。
• (ri(C) subseteq ar{C} subseteq cl(C))。

证明：

1. 一方面，由(ri(C) subseteq C)易知有(cl(ri(C)) subseteq cl(C))。另一方面，设(ar{oldsymbol{x}} in cl(C))，对于(forall oldsymbol{x} in ri(C))(由命题1.3.2知(oldsymbol{x})存在)，若(oldsymbol{x} = ar{oldsymbol{x}})，结论已成立，不妨设(oldsymbol{x} eq ar{oldsymbol{x}})，由命题1.3.1知对于(forall alpha in (0, 1])有(alpha oldsymbol{x} + (1 - alpha)ar{oldsymbol{x}} in ri(C))，因此(ar{oldsymbol{x}})是序列( left{ frac{1}{k}oldsymbol{x} + (1 - frac{1}{k})ar{oldsymbol{x}} | k geq 1 ight})的极限，由于该序列属于(ri(C))，故(ar{oldsymbol{x}} in cl(ri(C)))，于是(cl(C) subseteq cl(ri(C)))。
2. 一方面，对于(forall oldsymbol{x} in ri(C))，存在以(oldsymbol{x})为球心的球(B)满足(B cap aff(C) subseteq C)，由命题1.2.1知(aff(C) = aff(cl(C)))，故(B cap aff(cl(C)) subseteq C subseteq cl(C))，这意味着(oldsymbol{x} in ri(cl(C)))，于是(ri(C) subseteq ri(cl(C)))。另一方面，设(oldsymbol{z} in ri(cl(C)))，由命题1.3.2知存在(oldsymbol{x} in ri(C))，若(oldsymbol{x} = oldsymbol{z})，结论已成立，不妨设(oldsymbol{x} eq oldsymbol{z})，由命题1.3.3知对于充分接近(0)的(gamma > 0)有(oldsymbol{y} = oldsymbol{z} + gamma(oldsymbol{z} - oldsymbol{x}) in cl(C))，那么(oldsymbol{z} = (1 - alpha) oldsymbol{x} + alpha oldsymbol{y})，其中(alpha = frac{1}{gamma + 1} in (0, 1))，由命题1.3.1知(oldsymbol{z} in ri(C))。
3. 先证前两者。一方面，若(ri(C) = ri(ar{C}))，由(1)知(cl(C) = cl(ri(C)) = cl(ri(ar{C})) = cl(ar{C})))。另一方面，若(cl(C) = cl(ri(ar{C})))，由(2)知(ri(C) = ri(cl(C)) = ri(cl(ar{C})) = ri(ar{C}))。 
   再证前两者和第三者等价。一方面，由(ri(ar{C}) subseteq ar{C} subseteq cl(ar{C}))知(ri(C) subseteq ar{C} subseteq cl(C))。另一方面，若(ri(C) subseteq ar{C} subseteq cl(C))，取闭包知(cl(ri(C)) subseteq cl(ar{C}) subseteq cl(C))，由(1)知(cl(ri(C)) subseteq cl(ar{C}) subseteq cl(C) = cl(ri(C)))，故(cl(ar{C}) = cl(C))。

命题1.3.6：集合(C)是(mathbb{R}^n)的非空凸子集，矩阵(oldsymbol{A} in mathbb{R}^{m imes n})，那么

1. (oldsymbol{A} cdot ri(C) = ri(oldsymbol{A} cdot C))。
2. (oldsymbol{A} cdot cl(C) subseteq cl(oldsymbol{A} cdot C))，若(C)有界，则(oldsymbol{A} cdot cl(C) = cl(oldsymbol{A} cdot C))。

证明：

1. 设序列({oldsymbol{x}_k} in C)，则其极限(oldsymbol{x} in cl(C))，那么序列({oldsymbol{A} cdot oldsymbol{x}_k} subseteq oldsymbol{A} cdot C)，其极限(oldsymbol{A} oldsymbol{x} in cl(oldsymbol{A} cdot C))，故(oldsymbol{A} cdot cl(C) subseteq cl(oldsymbol{A} cdot C))，这就证明了(b)的前半部分。 
   一方面，结合命题1.3.5(a)易知有egin{align*}oldsymbol{A} cdot ri(C) subseteq oldsymbol{A} cdot C subseteq oldsymbol{A} cdot cl(C) = oldsymbol{A} cdot cl(ri(C)) subseteq cl(oldsymbol{A} cdot ri(C)),end{align*}因此凸集(oldsymbol{A} cdot C)介于凸集(oldsymbol{A} cdot ri(C))和其闭包(cl(oldsymbol{A} cdot ri(C)))之间，由命题1.3.5(c)知(oldsymbol{A} cdot C) 和(oldsymbol{A} cdot ri(C))有相同的相对内部，故(ri(oldsymbol{A} cdot C) = ri(oldsymbol{A} cdot ri(C)) subseteq oldsymbol{A} cdot ri(C))。 
   另一方面，对于(forall oldsymbol{z} in oldsymbol{A} cdot ri(C))及(forall oldsymbol{x} in oldsymbol{A} cdot C)，存在(ar{oldsymbol{z}} in ri(C)) 及(ar{oldsymbol{x}} in C)使得(oldsymbol{z} = oldsymbol{A} ar{oldsymbol{z}}) 及(oldsymbol{x} = oldsymbol{A}  ar{oldsymbol{x}})，由(C)的凸性及命题1.3.3知存在(gamma > 0) 使得(ar{oldsymbol{y}} = ar{oldsymbol{z}} + gamma (ar{oldsymbol{z}} - ar{oldsymbol{x}}) in C)，因此(oldsymbol{A} cdot ar{oldsymbol{y}} = oldsymbol{z} + gamma(oldsymbol{z} - oldsymbol{x}) in oldsymbol{A} cdot C)，由(oldsymbol{x})的任意性及命题1.3.3知(oldsymbol{z} in ri(oldsymbol{A} cdot C))。
2. 由(1)知(oldsymbol{A} cdot cl(C) subseteq cl(oldsymbol{A} cdot C))，对于(forall oldsymbol{z} in cl(oldsymbol{A} cdot C))，存在序列({oldsymbol{x}_k} subseteq C)使得(oldsymbol{A} oldsymbol{x}_k ightarrow oldsymbol{z})，若(C)有界，则存在({oldsymbol{x}_k})的子序列收敛到(oldsymbol{x} in cl(C))，于是(oldsymbol{z} in oldsymbol{A} cdot cl(C))。

   (C)有界是必须的，否则若(C)是无界闭凸集，(oldsymbol{A} cdot C)可能不是闭集。如右图所示，集合egin{align*}C = left{ (x_1, x_2) | x_1 > 0, x_2 > 0, x_1x_2 geq 1 ight},end{align*}线性变换(oldsymbol{A})表示朝(x_1)轴上投影，则egin{align*}oldsymbol{A} cdot cl(C) & = left{ (x_1, x_2) | x_1 > 0, x_2 = 0 ight},   \cl(oldsymbol{A} cdot C) & = left{ (x_1, x_2) | x_1 geq 0, x_2 = 0 ight},end{align*}显然(oldsymbol{A} cdot cl(C) eq cl(oldsymbol{A} cdot C)))。

   命题1.3.7：集合(C_1)和(C_2)是非空凸集，那么

   1. (ri(C_1 imes C_2) = ri(C_1) imes ri(C_2))，(cl(C_1 imes C_2) = cl(C_1) imes cl(C_2))。
   2. (ri(C_1 + C_2) = ri(C_1) + ri(C_2))，(cl(C_1) + cl(C_2) subseteq cl(C_1 + C_2))。
   3. 若(C_1)和(C_2)中至少有一个有界，则(cl(C_1) + cl(C_2) = cl(C_1 + C_2))。

   证明：

   1. 设(oldsymbol{x} = [oldsymbol{x}_1^ op, oldsymbol{x}_2^ op]^ op in ri(C_1 imes C_2))，由命题1.3.3知对任意(ar{oldsymbol{x}} = [ar{oldsymbol{x}}_1^ op, ar{oldsymbol{x}}_2^ op]^ op in C_1 imes C_2)，存在(gamma > 0)使得(oldsymbol{x} + gamma (oldsymbol{x} - ar{oldsymbol{x}}) in C_1 imes C_2 )，也即egin{align*}oldsymbol{x}_1 + gamma (oldsymbol{x}_1 - ar{oldsymbol{x}}_1) in C_1 oldsymbol{x}_2 + gamma (oldsymbol{x}_2 - ar{oldsymbol{x}}_2) in C_2 end{align*}于是再次由命题1.3.3知(oldsymbol{x}_1 in ri(C_1))且(oldsymbol{x}_2 in ri(C_2))，也即(oldsymbol{x} in ri(C_1) imes ri(C_2))，这就证明了(ri(C_1 imes C_2) subseteq ri(C_1) imes ri(C_2))，反过来同理可证(ri(C_1 imes C_2) supseteq ri(C_1) imes ri(C_2))，故(ri(C_1 imes C_2) = ri(C_1) imes ri(C_2))。 
      设(oldsymbol{x} = [oldsymbol{x}_1^ op, oldsymbol{x}_2^ op]^ op in cl(C_1 imes C_2))，于是存在收敛于(oldsymbol{x}) 的序列({oldsymbol{x}_k = [oldsymbol{x}_{k1}^ op, oldsymbol{x}_{k2}^ op]^ op } subseteq C_1 imes C_2)，这意味着({oldsymbol{x}_{k1}} ightarrow oldsymbol{x}_1)且({oldsymbol{x}_{k2}} ightarrow oldsymbol{x}_2)，即(oldsymbol{x}_1 in cl(C_1))且(oldsymbol{x}_2 in cl(C_2))，也即(oldsymbol{x} in cl(C_1) imes cl(C_2))，这就证明了(cl(C_1 imes C_2) subseteq cl(C_1) imes cl(C_2))，反过来同理可证(cl(C_1 imes C_2) supseteq cl(C_1) imes cl(C_2))，故(cl(C_1 imes C_2) = cl(C_1) imes cl(C_2))。
   2. 考虑线性变换(oldsymbol{A}: mathbb{R}^{2n} mapsto mathbb{R}^n = (oldsymbol{I}_n, oldsymbol{I}_n))，即egin{align*} oldsymbol{A} egin{bmatrix} oldsymbol{x}_1 \ oldsymbol{x}_2 end{bmatrix} = oldsymbol{x}_1 + oldsymbol{x}_2, oldsymbol{x}_1, oldsymbol{x}_2 in mathbb{R}^n. end{align*}由命题1.3.6(a)及(ri(C_1 imes C_2) = ri(C_1) imes ri(C_2))知egin{align*} ri(C_1 + C_2) = ri(oldsymbol{A} cdot (C_1 imes C_2)) = oldsymbol{A} cdot ri(C_1 imes C_2) = oldsymbol{A} cdot (ri(C_1) imes ri(C_2)) = ri(C_1) + ri(C_2). end{align*} 同样由命题1.3.6(b)及(cl(C_1 imes C_2) = cl(C_1) imes cl(C_2))知egin{align*} cl(C_1) + cl(C_2) = oldsymbol{A} cdot (cl(C_1) imes cl(C_2)) = oldsymbol{A} cdot (cl(C_1 imes C_2)) subseteq cl(oldsymbol{A} cdot (C_1 imes C_2)) = cl(C_1 + C_2).end{align*}
   3. 不妨设(C_1)有界，对于(forall oldsymbol{x} in cl(C_1 + C_2))，存在序列({oldsymbol{x}_{1, k}}  subseteq  C_1)和({oldsymbol{x}_{2, k}} subseteq C_2)使得(oldsymbol{x}_{1, k} + oldsymbol{x}_{2, k} ightarrow oldsymbol{x})。又(C_1)有界，故({oldsymbol{x}_{1, k}})有界，从而({oldsymbol{x}_{2, k}})有界。因此，存在序列({[oldsymbol{x}_{1, k}^ op, oldsymbol{x}_{2, k}^ op]})的子序列收敛到({[oldsymbol{x}_1^ op, oldsymbol{x}_2^ op]})且(oldsymbol{x}_1 + oldsymbol{x}_2 = oldsymbol{x})，又(oldsymbol{x}_1 in cl(C_1))，(oldsymbol{x}_2 in cl(C_2))，故(oldsymbol{x} in cl(C_1) + cl(C_2))，于是(cl(C_1 + C_2) subseteq cl(C_1) + cl(C_2))。

   (C_1)和(C_2)中至少有一个有界是必须的，如上图所示，集合 egin{align*}C_1 = left{ (x_1, x_2) | x_1 > 0, x_2 > 0, x_1x_2 geq 1 ight}, C_2 = left{ (x_1, x_2) | x_1 = 0 ight},end{align*} 则 egin{align*}cl(C_1 + C_2) & = left{ (x_1, x_2) | x_1 geq 0 ight}, \cl(C_1) + cl(C_2) & = left{ (x_1, x_2) | x_1 > 0 ight},end{align*}显然(cl(C_1 + C_2) eq cl(C_1) + cl(C_2))。

   命题1.3.8：集合(C_1)和(C_2)是非空凸集，那么

   1. (ri(C_1) cap ri(C_2) subseteq ri(C_1 cap C_2))，(cl(C_1 cap C_2) subseteq cl(C_1) cap cl(C_2))。
   2. 若(ri(C_1))和(ri(C_2))有非空交集，则(ri(C_1) cap ri(C_2) = ri(C_1 cap C_2))，(cl(C_1 cap C_2) = cl(C_1) cap cl(C_2))。

   证明：

   1. 对于(forall oldsymbol{x} in ri(C_1) cap ri(C_2))和(forall oldsymbol{y} in C_1 cap C_2)，由命题1.3.3知连接(oldsymbol{x})和(oldsymbol{y})的线段沿(oldsymbol{x})端延长一小段依然分别属于(C_1)和(C_2)，故再次由命题1.3.3知(oldsymbol{x} in ri(C_1 cap C_2))，于是(ri(C_1) cap ri(C_2) subseteq ri(C_1 cap C_2))。 
      显然有(C_1 subseteq cl(C_1))和(C_2 subseteq cl(C_2))，故(C_1 cap C_2 subseteq cl(C_1) cap cl(C_2))，又闭集的交集是闭集，闭集的闭包是其本身，于是(cl(C_1 cap C_2) subseteq cl(cl(C_1) cap cl(C_2)) = cl(C_1) cap cl(C_2))。
   2. 若(ri(C_1))和(ri(C_2))有非空交集，则存在(oldsymbol{x} in ri(C_1) cap ri(C_2))，设(oldsymbol{y} in cl(C_1) cap cl(C_2))，由命题1.3.1知对于(forall alpha in (0, 1])有(alpha oldsymbol{x} + (1 - alpha) oldsymbol{y} in ri(C_1) cap ri(C_2))，因此对于序列({alpha_k oldsymbol{x} + (1 - alpha_k) oldsymbol{y} } in ri(C_1) cap ri(C_2))，当(alpha_k ightarrow 0)时，其极限(oldsymbol{y} in cl(ri(C_1) cap ri(C_2)))，于是有 egin{align} label{equ: calculus of relative interiors and closures d} cl(C_1) cap cl(C_2) subseteq cl(ri(C_1) cap ri(C_2)) subseteq cl(C_1 cap C_2) end{align} 由(1)知(cl(C_1 cap C_2) subseteq cl(C_1) cap cl(C_2))，故(cl(C_1 cap C_2) = cl(C_1) cap cl(C_2))，此外式( ef{equ: calculus of relative interiors and closures d})中全部该取等号，从而(C_1 cap C_2)和(ri(C_1) cap ri(C_2))有相同的闭包，由命题1.3.5(c)知它们也应该有相同的相对内部，即 egin{align*}ri(C_1 cap C_2) = ri(ri(C_1) cap ri(C_2)) subseteq ri(C_1) cap ri(C_2),end{align*} 由(a) 知(ri(C_1) cap ri(C_2) subseteq ri(C_1 cap C_2))，故(ri(C_1) cap ri(C_2) = ri(C_1 cap C_2))。

   (ri(C_1))和(ri(C_2))有非空交集是必须的，设集合 egin{align*} C_1 = left{ x | x geq 0 ight}, C_2 = left{ x | x leq 0 ight}. end{align*} 则 egin{align*} ri(C_1 cap C_2) = { 0 } eq emptyset = ri(C_1) cap ri(C_2), end{align*} 显然(ri(C_1 cap C_2) eq ri(C_1) cap ri(C_2))。

   设集合 egin{align*} C_1 = left{ x | x > 0 ight}, C_2 = left{ x | x < 0 ight}. end{align*} 则 egin{align*} cl(C_1 cap C_2) = emptyset eq { 0 } = cl(C_1) cap cl(C_2), end{align*} 显然(cl(C_1 cap C_2) eq cl(C_1) cap cl(C_2))。

   命题1.3.9：集合(C)是(mathbb{R}^{m})的非空凸子集，矩阵(oldsymbol{A} in mathbb{R}^{m imes n})，如果(oldsymbol{A}^{-1} cdot ri(C))非空，那么 egin{align*} ri(oldsymbol{A}^{-1} cdot C) = oldsymbol{A}^{-1} cdot ri(C), cl(oldsymbol{A}^{-1} cdot C) = oldsymbol{A}^{-1} cdot cl(C), end{align*} 这里(oldsymbol{A}^{-1})表示逆映射，不是逆矩阵的意思。

   证明：先证第一个式子，定义集合egin{align*} D = mathbb{R}^n imes C, S = { (oldsymbol{x}, oldsymbol{A} oldsymbol{x}) | oldsymbol{x} in mathbb{R}^n }. end{align*}定义线性变换(T: mathbb{R}^{n+m} mapsto mathbb{R}^n)如下：egin{align*} T(oldsymbol{x}, oldsymbol{y}) = oldsymbol{x}. end{align*}易知egin{align*} oldsymbol{A}^{-1} cdot C = { oldsymbol{x} | oldsymbol{A} oldsymbol{x} in C } = T cdot { (oldsymbol{x}, oldsymbol{A} oldsymbol{x}) | oldsymbol{A} oldsymbol{x} in C } = T cdot (D cap S) end{align*}于是egin{align*}ri(oldsymbol{A}^{-1} cdot C) = ri(T cdot (D cap S)).end{align*} 由命题1.3.7(a)知(ri(D) = ri(mathbb{R}^n) imes ri(C) = mathbb{R}^n imes ri(C))，于是egin{align*}oldsymbol{A}^{-1} cdot ri(C) = { oldsymbol{x} | oldsymbol{A} oldsymbol{x} in ri(C) } = T cdot { (oldsymbol{x}, oldsymbol{A} oldsymbol{x}) | oldsymbol{A} oldsymbol{x} in ri(C) } = T cdot (ri(D) cap S),end{align*}由于(oldsymbol{A}^{-1} cdot ri(C))非空，即存在(oldsymbol{x} in mathbb{R}^n)使得(oldsymbol{A}oldsymbol{x} in ri(C))，那么(ri(D) cap S)非空，又(S)是(mathbb{R}^n)与(mathbb{R}^m)某个字空间的Cartesian积，故(ri(S) = S)，于是根据命题1.3.6和命题1.3.8知egin{align*}ri(T cdot (D cap S)) = T cdot ri(D cap S) = T cdot (ri(D) cap ri(S)) = T cdot (ri(D) cap S),end{align*}于是egin{align*}ri(oldsymbol{A}^{-1} cdot C) = oldsymbol{A}^{-1} cdot ri(C).end{align*}

   再证第二个式子，由命题1.3.7(a)知(cl(D) = cl(mathbb{R}^n) imes cl(C) = mathbb{R}^n imes cl(C))，于是egin{align*}oldsymbol{A}^{-1} cdot cl(C) = { oldsymbol{x} | oldsymbol{A} oldsymbol{x} in cl(C) } = T cdot { (oldsymbol{x}, oldsymbol{A} oldsymbol{x}) | oldsymbol{A} oldsymbol{x} in cl(C) } = T cdot (cl(D) cap S),end{align*}由于(ri(D) cap S)非空且(ri(S) = S = cl(S))，由命题1.3.8知egin{align*}cl(D cap S) = cl(D) cap cl(S) = cl(D) cap S,end{align*} 于是egin{align*}oldsymbol{A}^{-1} cdot cl(C) = T cdot (cl(D) cap S) = T cdot (cl(D cap S)) subseteq cl(T cdot (D cap S)) = cl(oldsymbol{A}^{-1} cdot C).end{align*} 反过来，设(ar{oldsymbol{x}} in cl(oldsymbol{A}^{-1} cdot C))，那么存在收敛于(ar{oldsymbol{x}})的序列({oldsymbol{x}_k})使得对于(forall k)有(oldsymbol{A}oldsymbol{x}_k in C)，于是序列({oldsymbol{A}oldsymbol{x}_k})收敛于(oldsymbol{A}ar{oldsymbol{x}})，故(oldsymbol{A}ar{oldsymbol{x}} in cl(C))，即(ar{oldsymbol{x}} in oldsymbol{A}^{-1} cl(C))。

   综上有(cl(oldsymbol{A}^{-1} cdot C) = oldsymbol{A}^{-1} cdot cl(C))成立。

   命题1.3.10：凸集(C)是(mathbb{R}^{n+m})的子集，对于(oldsymbol{x} in mathbb{R}^n)，设(C_{oldsymbol{x}} = { oldsymbol{y} | [oldsymbol{x}^ op, oldsymbol{y}^ op]^ op in C })，(D = { oldsymbol{x} | C_{oldsymbol{x}} eq emptyset })，那么(ri(C) = { [oldsymbol{x}^ op, oldsymbol{y}^ op]^ op | oldsymbol{x} in ri(D), oldsymbol{y} in ri(C_{oldsymbol{x}}) })。

   证明：(D)是(C)在(oldsymbol{x})轴上的投影，由命题1.3.6(a)的知egin{align*}ri(D) = { oldsymbol{x} | [oldsymbol{x}^ op, oldsymbol{y}^ op]^ op in ri(C) }, 
   end{align*}故egin{align*}ri(C) = cup_{oldsymbol{x} in ri(D)} left( M_{oldsymbol{x}} cap ri(C) ight),end{align*}其中(M_{oldsymbol{x}} = { [oldsymbol{x}^ op, oldsymbol{y}^ op]^ op | oldsymbol{y} in mathbb{R}^m })，对于(forall oldsymbol{x} in ri(D))，由命题1.3.8(b)知egin{align*}M_{oldsymbol{x}} cap ri(C)= ri(M_{oldsymbol{x}} cap C) = { [oldsymbol{x}^ op, oldsymbol{y}^ op]^ op | oldsymbol{y} in ri(C_{oldsymbol{x}}) },end{align*}结合上面两式可得egin{align*}ri(C) = cup_{oldsymbol{x} in ri(D)} { [oldsymbol{x}^ op, oldsymbol{y}^ op]^ op | oldsymbol{y} in ri(C_{oldsymbol{x}}) } = { [oldsymbol{x}^ op, oldsymbol{y}^ op]^ op | oldsymbol{x} in ri(D), oldsymbol{y} in ri(C_{oldsymbol{x}}) }.end{align*}

   ---

   命题1.3.11：若函数(f: mathbb{R}^n mapsto (-infty, infty])是正常凸函数，那么(f)在(ri(dom(f)))上必定连续。

   证明：由于(f)是正常凸函数，故(ri(dom(f)) eq emptyset)，不妨设(oldsymbol{0} in ri(dom(f)))，否则可以将(f)平移使其有效定义域包含(oldsymbol{0} )，这不影响结论。进一步设如下的单位超正方体(X = { oldsymbol{x} | ||oldsymbol{x}||_{infty} leq 1})也属于(ri(dom(f)))，否则可以将(f)进行拉伸，这也不影响结论。下面只需证明(f)在(oldsymbol{0})处连续即可(非(oldsymbol{0})处的连续可通过将(f) 平移得出)，也即对于任意收敛于(oldsymbol{0})的序列({oldsymbol{x}_k} subseteq mathbb{R}^n)有(f(oldsymbol{x}_k) ightarrow f(oldsymbol{0} ))。

   设(oldsymbol{e}_i, i = 1,dots, 2^n)是(X)的顶点，也即(oldsymbol{e}_i)的每一维都是(1)或(-1)。显然(X)是凸集，故对于任意(oldsymbol{x} in X)有egin{align*}oldsymbol{x} = sum_{i=1}^{2^n} alpha_i oldsymbol{e}_i, sum_{i=1}^{2^n} alpha_i = 1,end{align*}设(A = max_i f(oldsymbol{e}_i))，于是由Jensen's不等式可知(f(oldsymbol{x}) leq A)。

   如右图所示，考虑如下的序列egin{align*}oldsymbol{y}_k = frac{oldsymbol{x}_k}{||oldsymbol{x}_k||_{infty}}, oldsymbol{z}_k = -frac{oldsymbol{x}_k}{||oldsymbol{x}_k||_{infty}}, end{align*}由于(oldsymbol{x}_k)必然介于(oldsymbol{y}_k)和(oldsymbol{0} )之间，于是egin{align*}f(oldsymbol{x}_k) leq (1 - ||oldsymbol{x}_k||_{infty}) f(oldsymbol{0} ) + ||oldsymbol{x}_k||_{infty} f(oldsymbol{y}_k),end{align*}当(k ightarrow infty)时，(oldsymbol{x}_k ightarrow oldsymbol{0} )，于是(||oldsymbol{x}_k||_{infty} ightarrow 0)，又(f(oldsymbol{y}_k) leq A)，故egin{align*}limsup_{k ightarrow infty} f(oldsymbol{x}_k) leq f(oldsymbol{0} ). 
   end{align*}同理，由于(oldsymbol{0} )必然介于(oldsymbol{x}_k)和(oldsymbol{z}_k)之间，于是egin{align*}f(oldsymbol{0} ) leq frac{||oldsymbol{x}_k||_{infty}}{||oldsymbol{x}_k||_{infty} + 1} f(oldsymbol{x}_k) + frac{1}{||oldsymbol{x}_k||_{infty} + 1} f(oldsymbol{x}_k),end{align*}当(k ightarrow infty)时，(oldsymbol{x}_k ightarrow oldsymbol{0} )，故egin{align*}f(oldsymbol{0} ) leq liminf_{k ightarrow infty} f(oldsymbol{x}_k),end{align*}又(limsup_{k ightarrow infty} f(oldsymbol{x}_k) geq liminf_{k ightarrow infty} f(oldsymbol{x}_k))，故有(limsup_{k ightarrow infty} f(oldsymbol{x}_k) = liminf_{k ightarrow infty} f(oldsymbol{x}_k) = f(oldsymbol{0} ))，即(f)在(oldsymbol{0} )处连续。

   由命题1.3.11可知实值凸函数必然是闭函数。对于一维的实值凸函数，有如下更强的结论。

   命题1.3.12：设(C)是实数轴上的闭区间，若函数(f: C mapsto mathbb{R})是闭凸函数，则(f)在(C)上连续。

   证明：由命题1.3.11知(f)在(ri(C))上连续，故只需考虑边界点(ar{x})，设序列({ x_k } subseteq C)收敛到(ar{x})，并记egin{align*}x_k = alpha_k x_0 + (1 - alpha_k) ar{x}, forall k,end{align*} 其中({ alpha_k })是非负序列且(alpha_k ightarrow 0)，由(f)的凸性知egin{align*}f(x_k) leq alpha_k f(x_0) + (1 - alpha_k) f(ar{x}),end{align*}当(k ightarrow infty)时可得egin{align*}limsup_{k ightarrow infty} f(x_k) leq f(ar{x}).end{align*}考虑扩展实值函数( ilde{f}(x): mathbb{R} mapsto [-infty, infty])：egin{align*} ilde{f}(x) = egin{cases} f(x) & x in C  \ infty & x ot in C. end{cases} end{align*}由于(f)是闭函数，故其上境图是闭集，又( ilde{f})和(f)有相同的上境图，故( ilde{f})是闭函数，由命题1.1.6知( ilde{f})下半连续，于是egin{align*}f(ar{x}) leq liminf_{k ightarrow infty} f(x_k),end{align*}这意味着(f(x_k) ightarrow f(ar{x}))，故(f)在(ar{x})处连续。

   ---

   之前我们介绍了将非凸集进行凸化，同样对于非闭凸函数，我们考虑将其闭凸化。

   函数(f: X mapsto [-infty, infty])的上境图的闭包可以看做另一个函数的上境图，该函数称作(f)的闭包，记作egin{align*} cl(f)(oldsymbol{x}) = inf { w | (oldsymbol{x}, w) in cl(epi(f)) }, oldsymbol{x} in mathbb{R}^n. end{align*}

   函数(f: X mapsto [-infty, infty])的上境图的凸包可以看做另一个函数的上境图，该函数称作(f)的凸包，记作egin{align*}conv(f)(oldsymbol{x}) = inf { w | (oldsymbol{x}, w) in conv(epi(f)) }, oldsymbol{x} in mathbb{R}^n.end{align*}

   函数(f: X mapsto [-infty, infty])的上境图的闭凸包可以看做另一个函数的上境图，该函数称作(f)的闭凸包，记作egin{align*}cl(conv(f))(oldsymbol{x}) = inf { w | (oldsymbol{x}, w) in cl(conv(epi(f))) }, oldsymbol{x} in mathbb{R}^n.end{align*}

   显然(cl(conv(f))(oldsymbol{x}))是(cl(f)(oldsymbol{x}))的凸包，是(conv(f)(oldsymbol{x}))的闭包。下面这个命题说明了闭凸包的一个重要性质：(cl(conv(f)) )的下确界与(f)是一致的，且(f)能取到下确界的点也可使(cl(conv(f))(oldsymbol{x}))取到下确界。因此当优化目标不是闭凸函数时，我们可以考虑去优化它的闭凸包。

   命题1.3.13：设函数(f: X mapsto [-infty, infty])，那么egin{align} label{equ: coincide of convex closure} inf_{oldsymbol{x} in X} f(oldsymbol{x}) = inf_{oldsymbol{x} in X} cl(f)(oldsymbol{x}) = inf_{oldsymbol{x} in mathbb{R}^n} cl(f)(oldsymbol{x}) = inf_{oldsymbol{x} in mathbb{R}^n} conv(f)(oldsymbol{x}) = inf_{oldsymbol{x} in mathbb{R}^n} cl(conv(f))(oldsymbol{x}), end{align} 此外，使得(f)取下确界的(oldsymbol{x})，同样可使(cl(f))，(conv(f))和(cl(conv(f)))取得下确界。

   证明：若(epi(f))是空集，即(f)恒取(infty)，结论显然成立，不妨设(epi(f))非空，记(f^* = inf_{oldsymbol{x} in mathbb{R}^n} cl(f)(oldsymbol{x}))。 对于任意序列({ (ar{oldsymbol{x}}_k, ar{w}_k) } subseteq cl(epi(f)))且(ar{w}_k ightarrow f^*)，构造序列({ (oldsymbol{x}_k, w_k) } subseteq epi(f))使得(|w_k - ar{w}_k| ightarrow 0)，即(w_k ightarrow f^*)，又(f(oldsymbol{x}_k) leq w_k)，故对于(forall oldsymbol{x} in X)有egin{align*}inf_{oldsymbol{x} in X} f(oldsymbol{x}) = limsup_{k ightarrow infty} inf_{oldsymbol{x} in X} f(oldsymbol{x}) leq limsup_{k ightarrow infty} f(oldsymbol{x}_k) leq limsup_{k ightarrow infty} w_k = f^* leq cl(f)(oldsymbol{x}) leq f(oldsymbol{x}),end{align*}于是对(oldsymbol{x} in X)取下确界可知有egin{align*}inf_{oldsymbol{x} in X} f(oldsymbol{x}) = inf_{oldsymbol{x} in X} cl(f)(oldsymbol{x}) = inf_{oldsymbol{x} in mathbb{R}^n} cl(f)(oldsymbol{x}).end{align*}

   选取序列({ (oldsymbol{x}_k, w_k)} subseteq conv(epi(f)))且(w_k ightarrow inf_{oldsymbol{x} in mathbb{R}^n} conv(f)(oldsymbol{x}))。一方面，由于({ (oldsymbol{x}_k, w_k) })是(epi(f))中向量的凸组合，故(w_k geq f(oldsymbol{x}_k) geq inf_{oldsymbol{x} in X} f(oldsymbol{x}))，于是对(k)取极限有(inf_{oldsymbol{x} in mathbb{R}^n} conv(f)(oldsymbol{x}) geq inf_{oldsymbol{x} in X} f(oldsymbol{x}))。另一方面，对于(forall oldsymbol{x} in X)有(conv(f)(oldsymbol{x}) leq f(oldsymbol{x}))，故(inf_{oldsymbol{x} in mathbb{R}^n} conv(f)(oldsymbol{x}) leq inf_{oldsymbol{x} in X} conv(f)(oldsymbol{x}) leq inf_{oldsymbol{x} in X} f(oldsymbol{x}))，于是(inf_{oldsymbol{x} in mathbb{R}^n} conv(f)(oldsymbol{x}) = inf_{oldsymbol{x} in X} f(oldsymbol{x}) )。

   又(cl(conv(f)))是(conv(f))的闭包，由前面的证明知(inf_{oldsymbol{x} in mathbb{R}^n} conv(f)(oldsymbol{x}) = inf_{oldsymbol{x} in mathbb{R}^n} cl(conv(f))(oldsymbol{x}))。

   综上式( ef{equ: coincide of convex closure})得证。

   设(f)在(oldsymbol{x}^*)处取得下确界，又对于(forall oldsymbol{x} in X)有(f(oldsymbol{x}) geq cl(f)(oldsymbol{x}))，于是egin{align*}inf_{oldsymbol{x} in mathbb{R}^n} cl(f)(oldsymbol{x}) = inf_{oldsymbol{x} in X} f(oldsymbol{x}) = f(oldsymbol{x}^*) geq cl(f)(oldsymbol{x}^*),end{align*} 即(cl(f))也在(oldsymbol{x}^*)处取得下确界。同理可证(conv(f))和(cl(conv(f)))也在(oldsymbol{x}^*)处取得下确界。

   下面这个命题说明一个函数的闭凸包是对原函数“最紧”的放松。

   命题1.3.14：设函数(f: mathbb{R}^n mapsto [-infty, infty])，那么

   1. (cl(f))是(f)最紧的闭函数，即若(g: mathbb{R}^n mapsto [-infty, infty])是闭函数且对于(forall oldsymbol{x} in mathbb{R}^n)有(g(oldsymbol{x}) leq f(oldsymbol{x}))，那么对于(forall oldsymbol{x} in mathbb{R}^n)有(g(oldsymbol{x}) leq cl(f)(oldsymbol{x}))。
   2. (cl(conv(f)))是(f)最紧的闭凸函数，即若(g: mathbb{R}^n mapsto [-infty, infty])是闭凸函数且对于(forall oldsymbol{x} in mathbb{R}^n)有(g(oldsymbol{x}) leq f(oldsymbol{x}))，那么对于(forall oldsymbol{x} in mathbb{R}^n)有(g(oldsymbol{x}) leq cl(conv(f))(oldsymbol{x}))。

   证明：

   1. 易知(epi(f) in epi(g))且(epi(g))是闭集，故(epi(cl(f)) = cl(epi(f)) subseteq cl(epi(g)) = epi(g))，这意味着对于(forall oldsymbol{x} in mathbb{R}^n)有(g(oldsymbol{x}) leq cl(f)(oldsymbol{x}))。
   2. 易知(epi(f) in epi(g))且(epi(g))是闭凸集，故(epi(cl(conv(f))) = cl(conv(epi(f))) subseteq cl(conv(epi(g))) = epi(g))，这意味着对于(forall oldsymbol{x} in mathbb{R}^n)有(g(oldsymbol{x}) leq cl(conv(f))(oldsymbol{x}))。 
      end{proof}

   下面这个命题刻画了凸函数与其闭包的关系，之前我们证明了凸函数在其有效定义域的相对内部是连续的，也即闭的，因此凸函数与其闭包在其有效定义域的相对内部应该是完全一样的，唯一可能不一样的就是有效定义域的边界。

   命题1.3.15：设(f: mathbb{R}^n mapsto [-infty, infty])是凸函数，那么

   1. (cl(dom(f)) = cl(dom(cl(f))))，(ri(dom(f)) = ri(dom(cl(f))))，对于(forall oldsymbol{x} in ri(dom(f)))有(cl(f)(oldsymbol{x}) = f(oldsymbol{x}))，(cl(f))是正常凸函数当且仅当(f)是正常凸函数。
   2. 若(oldsymbol{x} in ri(dom(f)))，则对于(oldsymbol{y} in mathbb{R}^n)有 egin{align*} cl(f)(oldsymbol{y}) = lim_{alpha ightarrow 0} f(oldsymbol{y} + alpha (oldsymbol{x} - oldsymbol{y})). end{align*}

   证明：

   1. 易知egin{align*} ri(epi(f)) & = { (oldsymbol{x}, w) | oldsymbol{x} in ri(dom(f)), f(oldsymbol{x}) < w }, \ ri(epi(cl(f))) & = { (oldsymbol{x}, w) | oldsymbol{x} in ri(dom(cl(f))), cl(f)(oldsymbol{x}) < w }. end{align*}因为(epi(f))和(epi(cl(f)))有相同的闭包，由命题1.3.5(c)知它们有相同的相对内部，故egin{align*}{ (oldsymbol{x}, w) | oldsymbol{x} in ri(dom(f)), f(oldsymbol{x}) < w } = { (oldsymbol{x}, w) | oldsymbol{x} in ri(dom(cl(f))), cl(f)(oldsymbol{x}) < w }，end{align*}这意味着(ri(dom(f)) = ri(dom(cl(f))))，即(dom(f))和(dom(cl(f)))有相同的相对内部，再次由命题1.3.5(c)知它们有相同的闭包，故(cl(dom(f)) = cl(dom(cl(f))))。于是有egin{align*}{ (oldsymbol{x}, w) | oldsymbol{x} in ri(dom(f)), f(oldsymbol{x}) < w } = { (oldsymbol{x}, w) | oldsymbol{x} in ri(dom(f)), cl(f)(oldsymbol{x}) < w },end{align*}由此可得对于(forall oldsymbol{x} in ri(dom(f)))有(cl(f)(oldsymbol{x}) = f(oldsymbol{x}))。 
      若(cl(f))是正常凸函数，则(f)显然是正常凸函数；若(f)是正常凸函数，反设(cl(f))不是正常凸函数，则易知有egin{align*}cl(f)(oldsymbol{x}) = egin{cases}  -infty & oldsymbol{x} in dom(cl(f)), \ infty & oldsymbol{x} ot in dom(cl(f)).end{cases}end{align*}于是对于(forall oldsymbol{x} in ri(dom(cl(f))))有(f(oldsymbol{x}) = cl(f)(oldsymbol{x}) = -infty)，这意味着(f)不是正常凸函数，矛盾。
   2. 若(oldsymbol{y} ot in dom(cl(f)))，则(cl(f)(oldsymbol{y}) = infty)，由(cl(f))的下半连续性知对于任意收敛于(oldsymbol{y}) 的序列({oldsymbol{y}_k})有egin{align*}infty = cl(f)(oldsymbol{y}) leq liminf_{k ightarrow infty} cl(f)(oldsymbol{y}_k),end{align*}这意味着(cl(f)(oldsymbol{y}_k) ightarrow infty)，又(cl(f)(oldsymbol{y}_k) leq f(oldsymbol{y}_k))，故(f(oldsymbol{y}_k) ightarrow infty)，于是(cl(f)(oldsymbol{y}) = lim_{alpha ightarrow 0} f(oldsymbol{y} + alpha (oldsymbol{x} - oldsymbol{y})) = infty)。 
      若(oldsymbol{y} in dom(cl(f)))，考虑函数(g: [0, 1] mapsto mathbb{R})：egin{align*}g(alpha) = cl(f)(oldsymbol{y} + alpha(oldsymbol{x} - oldsymbol{y})).end{align*}由于(oldsymbol{x} in ri(dom(f)) = ri(dom(cl(f))))，(oldsymbol{y} in dom(cl(f)))，由命题1.3.1知对于(alpha in (0, 1])有egin{align*}oldsymbol{y} + alpha(oldsymbol{x} - oldsymbol{y}) in ri(dom(cl(f))),end{align*}由(1)知(oldsymbol{y} + alpha(oldsymbol{x} - oldsymbol{y}) in ri(dom(f)))，于是egin{align} label{equ: closure of convex function}g(alpha) = cl(f)(oldsymbol{y} + alpha(oldsymbol{x} - oldsymbol{y})) = f(oldsymbol{y} + alpha(oldsymbol{x} - oldsymbol{y})).end{align} 
      若(cl(f)(oldsymbol{y}) = -infty)，那么(cl(f))不是正常凸函数，于是对于(forall oldsymbol{z} in dom(cl(f)))有(cl(f)(oldsymbol{z}) = -infty)，因此egin{align*}f(oldsymbol{y} + alpha(oldsymbol{x} - oldsymbol{y})) = -infty, forall alpha in (0, 1],end{align*}结论成立。 
      若(cl(f)(oldsymbol{y}) > -infty)，那么(cl(f))是正常闭凸函数，于是(g)是([0, 1])上的实值闭凸函数，由命题1.3.12知，(g)在([0, 1])上连续，对式( ef{equ: closure of convex function})取极限知egin{align*}cl(f)(oldsymbol{y}) = g(0) = lim_{alpha ightarrow 0} g(alpha) = lim_{alpha ightarrow 0} f(oldsymbol{y} + alpha(oldsymbol{x} - oldsymbol{y})).end{align*}

   以前证明过非正常闭凸函数(f: mathbb{R}^n mapsto [-infty, infty])必呈如下形式：egin{align*} f(oldsymbol{x}) = egin{cases} -infty & oldsymbol{x} in dom(f), \ infty & oldsymbol{x} ot in dom(f). end{cases} end{align*}现在考虑任意非正常凸函数(f)，由命题1.3.15(a)知(cl(f))也是非正常凸函数，故(cl(f))是非正常闭凸函数，那么(cl(f))在(dom(cl(f)))上恒取(-infty)，又由命题1.3.15(a)知在(ri(dom(f)))上有(cl(f)(oldsymbol{x}) = f(oldsymbol{x}))，故(f)在(ri(dom(f)))上恒取(-infty)。

   下面这个命题给出了凸函数线性复合后的闭包等于其闭包的线性复合的条件。

   命题1.3.16：设(f: mathbb{R}^m mapsto [-infty, infty])是凸函数，矩阵(oldsymbol{A} in mathbb{R}^{m imes n})且存在(mathit{Col}(oldsymbol{A}) cap ri(dom(f)))非空，则函数egin{align*}F(oldsymbol{x}) = f(oldsymbol{A}oldsymbol{x}),end{align*}是凸函数且对于(forall oldsymbol{x} in mathbb{R}^n)有(cl(F)(oldsymbol{x}) = cl(f)(oldsymbol{A}oldsymbol{x}))。

   证明：由命题1.1.8知(F)是凸函数，设(oldsymbol{z} in mathit{Col}(oldsymbol{A}) cap ri(dom(f)))，于是存在(oldsymbol{y})满足(oldsymbol{A}oldsymbol{y} = oldsymbol{z} in ri(dom(f)))，即(oldsymbol{y} in oldsymbol{A}^{-1} cdot ri(dom(f)))(注意这里(oldsymbol{A}^{-1})是线性变换(oldsymbol{A})的逆变换，不是逆矩阵的意思)。显然(dom(F) = oldsymbol{A}^{-1} cdot dom(f))，由命题1.3.9知(ri(dom(F)) = oldsymbol{A}^{-1} cdot ri(dom(f)))，故(oldsymbol{y} in ri(dom(F)))，由命题1.3.15(b)知对于(forall oldsymbol{x} in mathbb{R}^n)有egin{align*}cl(F)(oldsymbol{x}) = lim_{alpha ightarrow 0} F(oldsymbol{x} + alpha (oldsymbol{y} - oldsymbol{x})) = lim_{alpha ightarrow 0} f(oldsymbol{A}oldsymbol{x} + alpha (oldsymbol{A}oldsymbol{y} - oldsymbol{A}oldsymbol{x})) = cl(f)(oldsymbol{A} oldsymbol{x}).end{align*}

   下面这个命题可以看成命题1.3.16的一个特例。

   命题1.3.17：设(f_i: mathbb{R}^n mapsto [-infty, infty], i = 1, dots, m)是凸函数且(cap_{i=1}^m ri(dom(f_i)) eq emptyset)，则函数egin{align*}F(oldsymbol{x}) = f_1(oldsymbol{x}) + dots + f_m(oldsymbol{x})end{align*}是凸函数且对于(forall oldsymbol{x} in mathbb{R}^n)有(cl(f)(oldsymbol{x}) = cl(f_1)(oldsymbol{x}) + dots + cl(f_m)(oldsymbol{x}))。

   证明：将(F)写成(F(oldsymbol{x}) = f(oldsymbol{A}oldsymbol{x}))，其中矩阵(oldsymbol{A} = [oldsymbol{I}_n, dots, oldsymbol{I}_n]^ op in mathbb{R}^{mn imes n})，定义函数(f: mathbb{R}^{mn} mapsto (-infty, infty])如下：egin{align*}f([oldsymbol{x}_1^ op, dots, oldsymbol{x}_m^ op]^ op) = f_1(oldsymbol{x}_1) + dots + f_m (oldsymbol{x}_m)end{align*}易知(dom(F) = cap_{i=1}^m dom(f_i))，于是由命题1.3.8和命题1.3.9知egin{align*}emptyset eq cap_{i=1}^m ri(dom(f_i)) = ri(cap_{i=1}^m dom(f_i)) = ri(dom(F)) = ri(oldsymbol{A}^{-1} cdot dom(f)) = oldsymbol{A}^{-1} cdot ri(dom(f))end{align*}这意味着(mathit{Col}(oldsymbol{A}) cap ri(dom(f)))非空，由命题命题1.3.16知egin{align*}cl(F)(oldsymbol{x}) = cl(f)(oldsymbol{A}oldsymbol{x}).end{align*}设(oldsymbol{y} in cap_{i=1}^m ri(dom(f_i)))，于是([oldsymbol{y}^ op, dots, oldsymbol{y}^ op]^ op in ri(dom(f)))，由命题1.3.15(b)知egin{align*}cl(f)(oldsymbol{x}) & = cl(f)([oldsymbol{x}^ op, dots, oldsymbol{x}^ op]^ op)  \ & = lim_{alpha ightarrow 0} f_1(oldsymbol{x} + alpha (oldsymbol{y} - oldsymbol{x})) + dots + lim_{alpha ightarrow 0} f_m(oldsymbol{x} + alpha (oldsymbol{y} - oldsymbol{x}))   \ & = cl(f_1)(oldsymbol{x}) + dots + cl(f_m)(oldsymbol{x}) end{align*}