一、机器学习基础及凸优化
参考：http://cvxopt.org/userguide/coneprog.html
1. 凸函数
1.1 Optimization Categories
1.1.1 convex or non-convex
lGlobal optimization or better local optimization
lconvex set：假设对于任意x，y∈C并且任意参数，a∈[0,1]，我们对ax+(1-a)y∈C https://zhuanlan.zhihu.com/p/92230334
lConvex Function define：函数的定义域domf为凸集，对于定义域里任意x，y，函数满足f(θx + (1-θy))<=θf(x)+(1-θ)f(y)
https://www.zhihu.com/question/20014186/answer/27194360
1.1.2 continuous or discrete
1.1.3 constraint or non-constraint
1.1.4 smooth or non-smooth
1.2 问题解决过程：
lDecision Variable
lObjective Function
lConstraint
l判断类型
l设计或使用
1.3 应用
lLP：Transportation(运输) Problem: min Transportation cost minf s.t. 条件
lportfolio optimization:10万块钱-->买多支股票 Mean Variance portfolio optimization
lset cover problem：找最少集合的个数
lExhaustive Search :枚举(NP-hard的时候可用)
lGreedy search：Local method-->global optimization
lnon-convex --> relax -->convex
2. duality（对偶）：视角不同-->minimize primal and maximize dual(见图，理想情况下会相遇) 凹函数
lprimal-->dual
lLower bound property：P*>=d*
lStrong and weak Duality：结果可能不一样
lstrong条件：Conplementary Slackness
2.1 strong条件：KKT conditions
一、机器学习基础及凸优化
参考：http://cvxopt.org/userguide/coneprog.html
1. 凸函数
1.1 Optimization Categories
1.1.1 convex or non-convex
l Global optimization or better local optimization
l convex set：假设对于任意x，y∈C并且任意参数，a∈[0,1]，我们对ax+(1-a)y∈C https://zhuanlan.zhihu.com/p/92230334
l Convex Function define：函数的定义域domf为凸集，对于定义域里任意x，y，函数满足f(θx + (1-θy))<=θf(x)+(1-θ)f(y)
https://www.zhihu.com/question/20014186/answer/27194360
1.1.2 continuous or discrete
1.1.3 constraint or non-constraint
1.1.4 smooth or non-smooth
1.2 问题解决过程：
l Decision Variable
l Objective Function
l Constraint
l 判断类型
l 设计或使用
1.3 应用
l LP：Transportation(运输) Problem: min Transportation cost minf s.t. 条件
l portfolio optimization:10万块钱-->买多支股票 Mean Variance portfolio optimization
l set cover problem：找最少集合的个数
l Exhaustive Search :枚举(NP-hard的时候可用)
l Greedy search：Local method-->global optimization
l non-convex --> relax -->convex
2. duality（对偶）：视角不同-->minimize primal and maximize dual(见图，理想情况下会相遇) 凹函数
l primal-->dual
l Lower bound property：P*>=d*
l Strong and weak Duality：结果可能不一样
l strong条件：Conplementary Slackness
2.1 strong条件：KKT conditions