zoukankan      html  css  js  c++  java
  • 梯度下降高级优化算法中initial_theta与theta的理解(基于吴恩达机器学习)

    首先,贴出梯度下降高级优化算法的实现代码(octave或者matlab,来源于吴恩达机器学习)

    function [J, grad] = costFunction(theta, X, y)
    
    options = optimset('GradObj', 'on', 'MaxIter', 400);
    [theta, cost] = (@(t)(costFunction(t, X, y)), initial_theta,options);

    其中initial_theta是整个参数的初始值(即最开始我们选择的的参数),而costFunction中的theta是每次迭代优化计算得到参数(从options来看迭代了400次),只是在第一次迭代时initial_theta传给costFunction的theta进行计算代价函数和偏导项,但之后的迭代中更新的theta在传给costFunction的theta,所以initial_theta和theta是有区别的。

    另外,在costFunction中有操作是从输入的theta(此时是向量形式)运用reshape函数获得θ1、θ2和θ3(矩阵形式),参数从向量又提取为矩阵形式是因为在costFunction函数中,返回的结果是代价函数和各个参数的偏导项,因此在其计算过程中会需要用到前向传播,也肯定会使用到参数(而此时利用参数的向量化进行计算是一个更合理的选择,因此在该函数中我们会将参数向量转化为参数矩阵)。而最终我们能得到梯度矩阵(即各个参数的偏导项组成的矩阵),但是在返回结果中我们需要获得的是向量形式,因此我们又把梯度矩阵转换成了长向量(这是与参数向量一一对应的顺序,因为各个梯度就是代价函数J(θ)对各个参数有的偏导)

    以上仅仅是个人的理解……

  • 相关阅读:
    数据结构 链表笔记
    C语言 字符串操作 笔记
    数据结构 排序算法 笔记
    链表详解
    mysql常用命令
    图片压缩工具之grunt-contrib-imagemin
    正则表达式
    阿里云部署nodejs服务器(windows)
    canvas简介
    js面向对象
  • 原文地址:https://www.cnblogs.com/xwh-blogs/p/13629085.html
Copyright © 2011-2022 走看看