zoukankan      html  css  js  c++  java
  • 最优化计算中:梯度下降法和牛顿法,共轭梯度法的基础分析

    整理这篇博文是为了防止遗忘 的时候快速找到学习资源

    梯度最速下降法的初始函数展开式取到泰勒级数的一阶导数展开式,最终每一次的搜索方向为梯度下方向,每一次的搜索步长都用精确的“linear  search”方法来确定

    https://www.codelast.com/%E5%8E%9F%E5%88%9B-%E5%86%8D%E8%B0%88-%E6%9C%80%E9%80%9F%E4%B8%8B%E9%99%8D%E6%B3%95%E6%A2%AF%E5%BA%A6%E6%B3%95steepest-descent/
    

      

    ,而牛顿法取到了泰勒级数的二阶展开式,并在求d这一搜索向量时用到了解方程组的方法。

    另外,在用牛顿迭代法求解每一次的搜索方向和步长时。可以参考高斯约旦消元法来计算。(高斯-若当消元法的步骤参考)

    https://baike.baidu.com/item/%E9%AB%98%E6%96%AF-%E8%8B%A5%E5%B0%94%E5%BD%93%E6%B6%88%E5%85%83%E6%B3%95/19969775?fr=aladdin

    共轭梯度法梯度法是有一定关系的,它利用了目标函数的梯度信息(梯度与方向的内积但为0以满足下降方向);

    它与梯度法又存在区别,用当前点的负梯度方向,与前面,注意是前面的搜索方向共轭化,以得到新的搜索方向。

  • 相关阅读:
    WCF双工通讯以及客户端间的间接通讯
    认识IoC
    学习“迷你ASP.NET MVC框架”后的小结
    MVP的PV模式与SC模式
    Android学习笔记(九) 视图的应用布局效果
    C# 动态编译
    C#中协变与抗变(逆变)
    线程池ThreadPool的初探
    关于异步的初步认识
    仿Office的程序载入窗体
  • 原文地址:https://www.cnblogs.com/seisjun/p/8549680.html
Copyright © 2011-2022 走看看