zoukankan      html  css  js  c++  java
  • 《最优化导论》-9牛顿法

    牛顿法用到了目标函数的1、2阶导数,可能会更高效。

    1.思想:构造目标函数的近似函数:

    1.2泰勒展开到二阶,可以得到函数f(x)的近似函数:

    1.3对近似函数q(x)求极小值,得到迭代形式:

    1.4流程:

    2.二次型中牛顿法

    二次型中,牛顿法只需一次迭代即可从任意初始点x(0)收敛到f的极小的x*,满足在x*的梯度=0。

    问题,有时候随机初始点离极小/大点较远时,并不一定收敛,有时候黑塞矩阵为奇异矩阵,则完全无法使用了,有一些修正方法

    1)开展一次一维搜索:

    问题是这种方法在维数n太大时,计算黑塞矩阵计算量太大,还需要解F(x(k))-1,得到方向d,这是牛顿法的重要缺陷之一。(后续10、11章的共轭方法、拟牛顿法可以避免求黑塞矩阵的逆以解决这一问题)

    2)Levenberg-Marquardt修正

    加入uk倍单位矩阵,使得修正后的矩阵G总保存正定,加入ak,开展一维搜索:

    3. 牛顿法拟合非线性最小二乘函数:9.4

  • 相关阅读:
    软件工程课堂二
    软件工程第二周总结
    软件工程第一周开课博客
    软件工程课堂一
    开学第一次考试感想
    以Function构造函数方式声明函数
    document.scrollingElement
    标识符
    变量声明语句的提升
    用that代替this
  • 原文地址:https://www.cnblogs.com/onenoteone/p/12441743.html
Copyright © 2011-2022 走看看