zoukankan      html  css  js  c++  java
  • 梯度下降法与牛顿法的比较

    参考知乎:https://www.zhihu.com/question/19723347

    这篇博文讲牛顿法讲的非常好:http://blog.csdn.net/itplus/article/details/21896453

                                  梯度下降法用目标函数的一阶偏导、以负梯度方向作为搜索方向,只考虑目标函数

                           在迭代点的局部性质;牛顿法同时考虑了目标函数的一、二阶偏导数,考虑了梯度变化

                          趋势,因而能更合适的确定搜索方向加快收敛,但牛顿法也存在以下缺点:

                                 1、对目标函数有严格要求,必须有连续的一、二阶偏导数,海森矩阵必须正定;

                                 2、计算量大,除梯度外,还需计算二阶偏导矩阵及其逆矩阵。

    拟牛顿法:http://blog.csdn.net/itplus/article/details/21896619

                           

  • 相关阅读:
    数据库高级查询
    简明python教程笔记一
    2017.12.29问题
    Windows下Python + Flask环境搭建
    ApiTestEngine框架
    接口测试框架ApiTestEngine相关
    IDEA查看JMeter源码
    IDEA安装,破解,和配置
    Uiautomator 2.0实例
    框架搭建实例
  • 原文地址:https://www.cnblogs.com/573177885qq/p/5950917.html
Copyright © 2011-2022 走看看