zoukankan      html  css  js  c++  java
  • 梯度下降高级优化算法中initial_theta与theta的理解(基于吴恩达机器学习)

    首先,贴出梯度下降高级优化算法的实现代码(octave或者matlab,来源于吴恩达机器学习)

    function [J, grad] = costFunction(theta, X, y)
    
    options = optimset('GradObj', 'on', 'MaxIter', 400);
    [theta, cost] = (@(t)(costFunction(t, X, y)), initial_theta,options);

    其中initial_theta是整个参数的初始值(即最开始我们选择的的参数),而costFunction中的theta是每次迭代优化计算得到参数(从options来看迭代了400次),只是在第一次迭代时initial_theta传给costFunction的theta进行计算代价函数和偏导项,但之后的迭代中更新的theta在传给costFunction的theta,所以initial_theta和theta是有区别的。

    另外,在costFunction中有操作是从输入的theta(此时是向量形式)运用reshape函数获得θ1、θ2和θ3(矩阵形式),参数从向量又提取为矩阵形式是因为在costFunction函数中,返回的结果是代价函数和各个参数的偏导项,因此在其计算过程中会需要用到前向传播,也肯定会使用到参数(而此时利用参数的向量化进行计算是一个更合理的选择,因此在该函数中我们会将参数向量转化为参数矩阵)。而最终我们能得到梯度矩阵(即各个参数的偏导项组成的矩阵),但是在返回结果中我们需要获得的是向量形式,因此我们又把梯度矩阵转换成了长向量(这是与参数向量一一对应的顺序,因为各个梯度就是代价函数J(θ)对各个参数有的偏导)

    以上仅仅是个人的理解……

  • 相关阅读:
    HDU
    QDUoj GZS的三角形 棋盘里的数学 思维+杨辉三角
    HDU
    HDU
    CodeForces
    POJ
    QDUOJ 东北大炸弹 宝岛地图-枚举+数组记录+前缀和
    HDU
    QDUOJ 分辣条-01背包恰好装满情况
    HDU
  • 原文地址:https://www.cnblogs.com/xwh-blogs/p/13629085.html
Copyright © 2011-2022 走看看