zoukankan      html  css  js  c++  java
  • 机器学习数学基础- gradient descent算法(上)

    为什么要了解点数学基础

    学习大数据分布式计算时多少会涉及到机器学习的算法,所以理解一些机器学习基础,有助于理解大数据分布式计算系统(比如spark)的设计。机器学习中一个常见的就是gradient descent算法,是线性回归问题的一个基础算法。gradient是数学概念。

    Gradient

    如果一个函数有n个自变量:f(x1,x2......xn)。且每一个x都是标量值。那么该函数的gradient就是一个n维的向量函数,每一个component是f函数针对xi的partial derivative。f的gradient反映的是f针对全部变量在各自维度的变化的敏感程度(以及正负相关性。即当自变量添加时,f值是添加还是减小,下同。

    gradient所反映的正负相关性非常重要,是理解gradient descent算法的一个关键)的合集。f的gradient记为f

    Partial Derivative

    partial derivative是derivative的一个延伸概念,是一个有n维变量的函数f(x1,x2......xn)。在如果其它变量值不变、仅有一个变量(如果为xi)变化的情况下,f函数针对该变量的derivative,写为f(xi),或者fxif(x1,x2......xn)xi的partial derivative也是xi的函数,它反映的是f相对于xi的变化的敏感程度(以及正负相关性)。

    Derivative

    一个一维变量的函数f(x)的derivative,反映的是f(x)x的不同值的情况下,当x仅作无限小的变化时。f值的变化与x的变化的比值,因此derivative反映的是f(x)x的不同值的情况下,f(x)x的变化的敏感程度(以及正负相关性)。

    f(x)的derivative也是x的函数,写为f(x).

    Gradient Descent算法

    线性回归问题能够归结为求一个函数f(x1,x2......xn)(x1,x2......xn)的某一个详细的值,使得f有最小值。
    如果把这个求解问题交给你,你能求出来吗?非常难把,
    而gradient descent算法则能解决问题。
    ……待续

  • 相关阅读:
    卸载全部appx应用(包括应用商店)
    重置 Launchpad 和更新APP图标缓存
    删除OSX中第三方的「偏好设置」程序(.prefPane)
    IOS segue(跳转页面处理)
    IOS NSNotificationCenter(通知 的使用)监听文本框的文字改变
    IOS UITextFieldDelegate (常用的代理方法)
    IOS UIActionSheet(底部 弹出框的使用)
    IOS 偏好设置数据 存 取(Preferences文件夹)
    IOS plist的数据 存 取(沙河目录)
    显示 Mac隐藏的文件夹 命令语句
  • 原文地址:https://www.cnblogs.com/mthoutai/p/7306202.html
Copyright © 2011-2022 走看看