概述
数值优化对于最优化问题提供了一种迭代算法思路，通过迭代逐渐接近最优解，分别对无约束最优化问题和带约束最优化问题进行求解。
该系列教程能够參考的资料有
1. 《Numerical Optimization 2nd》–Jorge Nocedal Stephen J. Wright
2. 《凸优化》–Stephen Boyd
3. 《非线性最优化基础》–Masao Fukushima（林贵华译）
4. 《非线性最优化理论与方法》–王宜举
5. 凸优化在线课程
学习链接
- 最优化问题概述
*介绍最优化问题分类以及求解思路 - 线搜索方法
*基于线搜索方法，包含最速下降、牛顿方法以及步长计算等 - 信赖域方法
*介绍信赖域求解最优化问题的思路 - 共轭梯度方法
*介绍共轭方法的思路 - 拟牛顿方法
*介绍拟牛顿方法，用一阶梯度近似Hessian矩阵方法 - 大规模无约束最优化方法
*大规模无约束问题，LBFGS等 - 梯度计算
*复杂函数梯度近似方法 - 无梯度最优化方法
*不计算梯度情况下。怎样进行最优化 - 最小二乘问题
*最优化方法应用，求解最小二乘问题 - 非线性方程
*最优化方法应用，求解非线性方程问题 - 有约束最优化问题
*介绍等式、非等式约束最优化问题以及最优化条件。包含KKT条件、对偶等 - 线性规划问题
*线性规划常见求解算法 - 非线性约束最优化问题
*介绍非线性约束的最优化问题求解思路 - 二次规划问题
*目标函数是二次函数的特殊最优化问题，是SQP、内点等方法的基础 - 惩处和增广拉格朗日方法
*求解带约束最优化问题经常用法 - 序列二次规划和内点法
*SQP和IP方法对于求解大规模约束最优化问题提供方案
说明
该系列文章是个人学习总结。因为非数学专业和时间关系。可能会有错误和纰漏，欢迎大家批评指正。
另外文章每一行都是个人一字一字敲进去的，转载请注明出处。谢谢。