1.形式
2.投影法
通常迭代形如：
2.1当有约束时，这类算法迭代出的点很可能不满足约束，可以使用投影形式，然点投影到约束内，u,l为约束范围：
这样对上面的迭代形式进行改进，然每次迭代后的点保持在约束内：
2.2投影梯度法
3.线性约束优化的投影
3.1 投影算子P
线性约束时，投影算子是正交投影矩阵P:
存在约束时，负梯度方向并不一定就是可行方向，因此可以借助投影矩阵P，得到迭代形式：
3.2投影时的极小点条件
原先无约束时是梯度为0：
4.拉格朗日法
4.1 仅含等式约束时，拉格朗日法迭代更新：
4.2 含不等式约束时，拉格朗日法迭代更新：
5.罚函数法
1）对于约束问题，转化为无约束问题，其中会加一个惩罚项，惩罚大小与超出约束正相关。
2）定义
3）绝对值罚函数
4）分析
