zoukankan      html  css  js  c++  java
  • 梯度下降高级优化算法中initial_theta与theta的理解(基于吴恩达机器学习)

    首先,贴出梯度下降高级优化算法的实现代码(octave或者matlab,来源于吴恩达机器学习)

    function [J, grad] = costFunction(theta, X, y)
    
    options = optimset('GradObj', 'on', 'MaxIter', 400);
    [theta, cost] = (@(t)(costFunction(t, X, y)), initial_theta,options);

    其中initial_theta是整个参数的初始值(即最开始我们选择的的参数),而costFunction中的theta是每次迭代优化计算得到参数(从options来看迭代了400次),只是在第一次迭代时initial_theta传给costFunction的theta进行计算代价函数和偏导项,但之后的迭代中更新的theta在传给costFunction的theta,所以initial_theta和theta是有区别的。

    另外,在costFunction中有操作是从输入的theta(此时是向量形式)运用reshape函数获得θ1、θ2和θ3(矩阵形式),参数从向量又提取为矩阵形式是因为在costFunction函数中,返回的结果是代价函数和各个参数的偏导项,因此在其计算过程中会需要用到前向传播,也肯定会使用到参数(而此时利用参数的向量化进行计算是一个更合理的选择,因此在该函数中我们会将参数向量转化为参数矩阵)。而最终我们能得到梯度矩阵(即各个参数的偏导项组成的矩阵),但是在返回结果中我们需要获得的是向量形式,因此我们又把梯度矩阵转换成了长向量(这是与参数向量一一对应的顺序,因为各个梯度就是代价函数J(θ)对各个参数有的偏导)

    以上仅仅是个人的理解……

  • 相关阅读:
    Mybatis原理
    周六上课随记
    第一次外包面试
    复习所想
    如何解决高并发下的超卖问题
    Tomcat架构解析
    即将逝去的25岁
    go 刷算法第一题——反转字符串
    JavaScript杂货
    jdk17新特性
  • 原文地址:https://www.cnblogs.com/xwh-blogs/p/13629085.html
Copyright © 2011-2022 走看看