zoukankan      html  css  js  c++  java
  • 机器学习--cost function

    常见的代价函数
    代价函数(cost fuction,也称损失函数或优化目标)是出现在监督学习模型中,在已知的标签y的情况下,根据h(x)得到的预测值计算学习算法要到达真实情况所需要付出的代价
    P. S. 不熟悉常见监督学习模型可以看吴恩达机器学习系列课程笔记——监督学习常见模型
    通过最小化代价函数可以得到算法的最优解,从而训练更有效的模型
    其中代价函数被期望得到的是凸函数(convex function,也称单弓形函数),而不是非凸函数(non-convex),因为后者拥有众多局部最低点,导致算法可能无法获得全局最优解


    非凸函数和凸函数

    1. 平方误差代价函数(Square Error Cost Function)
    该代价函数常在回归问题中使用

    对于线性回归模型来说,为使得预测值与实际值更好的拟合,最简单的办法即求得预测与实际之间的垂直距离,并使其逐渐减小到合适的距离
    因此使用平方误差函数作为代价函数的核心,下面是只考虑特征θ0(偏差)和θ1的单变量线性回归代价函数公式

    简化参数后的假设函数与代价函数示例图


    多元线性回归模型的代价函数即为单变量的拓展,对于特征θ公式为


    感兴趣的同学可以看多元线性回归的代价函数推导
    二元变量的线性回归模型的代价函数如下图所示,同样也是凸函数

            二维代价函数立体图


    为方便理解,可以通过绘制等高线图观察平方差代价函数,如下图所示

              等高线示意图

  • 相关阅读:
    初探CSS
    初探CSS -3 语法
    初探 -1 JavaScript
    初探html-17 表单
    初探html-9 链接
    python 发送邮件
    检查xml文件
    python文件和目录操作方法大全(含实例)
    使用ADB无线连接Android真机进行调试
    安卓APP应用在各大应用市场上架方法整理
  • 原文地址:https://www.cnblogs.com/saryli/p/14447129.html
Copyright © 2011-2022 走看看