Newton方法主要解决无等式约束和等式约束的最优化方法。
1、函数进行二阶泰勒展开近似
Taylor近似函数求导等于0进而得到Newton步径。(搜索方向)
2、Newton减量(停止条件)
当1/2λ2<ε停止搜索
3、搜索策略
回溯直线搜索确定搜索步长t
P.s 回溯直线搜索
下降方法:Δx步径即为搜索方向,t步长或者步进或者叫比例因子
下降方向:gradient*步径<0即为下降方向
直线搜索:x:=x+tΔx
回溯直线搜索 Backtracking Line Search(BLS)