zoukankan      html  css  js  c++  java
  • 梯度下降法与牛顿法的比较

    参考知乎:https://www.zhihu.com/question/19723347

    这篇博文讲牛顿法讲的非常好:http://blog.csdn.net/itplus/article/details/21896453

                                  梯度下降法用目标函数的一阶偏导、以负梯度方向作为搜索方向,只考虑目标函数

                           在迭代点的局部性质;牛顿法同时考虑了目标函数的一、二阶偏导数,考虑了梯度变化

                          趋势,因而能更合适的确定搜索方向加快收敛,但牛顿法也存在以下缺点:

                                 1、对目标函数有严格要求,必须有连续的一、二阶偏导数,海森矩阵必须正定;

                                 2、计算量大,除梯度外,还需计算二阶偏导矩阵及其逆矩阵。

    拟牛顿法:http://blog.csdn.net/itplus/article/details/21896619

                           

  • 相关阅读:
    Application和Page详解
    Session解析
    CSS设置技巧
    CSS布局模型
    CSS盒模型
    JAVA -Xms -Xmx -XX:PermSize -XX:MaxPermSize 区别
    设计模式——单例模式
    设计模式——工厂模式
    Go语言学习
    每周一个设计模式
  • 原文地址:https://www.cnblogs.com/573177885qq/p/5950917.html
Copyright © 2011-2022 走看看