zoukankan      html  css  js  c++  java
  • 几种损失函数及用途的整理

    1. 对数损失函数

    在逻辑回归中使用对数损失函数,也有人称之为对数似然损失函数

    其中 h(x)为对该样本类别预测的概率值

    2. *方损失函数

    常用于优化最小二乘法,在实际应用中使用均方差损失作为损失函数

    3. 指数损失函数(Adaboost)

    学习后补充

    4.Hinge损失函数(SVM)

    学习后补充

    5.交叉熵损失函数

    由于sigmoid函数的性质,导致σ′(z)在z取大部分值时会很小(如下图标出来的两端,几*于*坦),这样会使得w和b更新非常慢(因为η * a * σ′(z)这一项接*于0)。

    当我们用sigmoid函数作为神经元的激活函数时,最好使用交叉熵代价函数来替代方差代价函数,以避免训练过程太慢。

    6.其他的还有0-1损失函数、 绝对值损失函数

    如果有一天我们淹没在茫茫人海中庸碌一生,那一定是我们没有努力活得丰盛
  • 相关阅读:
    程序运行bug查看
    c# webbrowser 的html调用js出错
    c# dll使用注意
    支持ie的时间控件 html
    sql 条件插入
    软件自动更新原理
    c# 数组不能直接=,需要clone
    打包成exe程序
    逆袭大学
    Heritage from father
  • 原文地址:https://www.cnblogs.com/yeran/p/10526122.html
Copyright © 2011-2022 走看看