最速下降法采用负梯度方向进行一维搜索，总体上看搜索速度应该是比较快，但是当迭代进行到靠近精确最优点时，会出现锯齿形搜索路径，这样就会大大降低搜索效率，所以通常在搜索前期采用最速下降法，当接近精确最优解时，改用牛顿法等其他在最优解附近搜索效率更高的方法。
但是牛顿法也有缺点：一方面需要计算Hesse矩阵及其逆，因而计算量往往很大；另一方面要求Hesse矩阵正定，这一点也常常得不到满足。考虑到最速下降法在远离精确最优解时收敛速度快，而牛顿法在接近最优解时收敛速度较快，所以通常在搜索的前期采用最速下降法，而在后期改用牛顿法，这样可以获得比较好的效果。
求解带约束的优化问题时，在每次迭代的时候不仅要使目标函数下降，还要使新的近似点落在可行域内。多数情况下求解约束优化问题采用的方法是将约束问题转化为无约束问题来求解。
如果目标函数的无约束极值点落在可行域D内，则无约束问题的最优解和约束问题的最优解就是相同的，此时约束没有起到作用。而在实际应用中，一般问题的约束中总会有起作用的约束。约束起作用实际上就意味着相应的无约束条件问题的最优解不在可行域内，而在可行域以外，从而由于目标函数的连续性所致，约束问题的最优解一定落在可行域的边界上。也就是说，约束问题的最优解至少会使一个约束条件的等式成立。