LQR直接通过backward和forward 过程给出最控制率和轨迹,而iLQR初始化一条轨迹,然后用LQR动态优化这条轨迹,直到找到最优解;
LQR是在环境线性化模型、cost function二次型情况下进行的,可能不能表示真是环境的情况;
于是,近似于数值优化中的思路,iLQR是将环境一阶线性化,cost function 二阶泰勒近似,然后利用LQR求极值,在新极值的条件下,
再次将环境一阶线性化,cost function 二阶泰勒近似,求极值,指导损失函数收敛;
DDP和iLQR的不同是将环境也进行二阶泰勒近似;
存在问题:
1、二阶近似在有些点可能不准确,求得新极值点cost function值不降反增,需要使用linear search 来进行约束;
2、hessian矩阵可能不正定,需要正则化。