zoukankan      html  css  js  c++  java
  • 损失函数

    定义: 用来估量模型的预测值f(x)与真实值Y的不一致程度,损失函数越小,模型的鲁棒性越好。损失函数是经验风险函数的核心部分,也是结构风险函数的重要组成部分。 模型的结构风险函数包括了经验风险项和正则项, 表示形式:

      公式中前一部分为经验风险函数,L代表的是损失函数,后面的是正则化项(L1,L2 或其他正则函数)。整个公式的目的是找到使目标函数最小的theta值。

    1) logistic回归

       将hypothesis映射到0和1之间。

       对logistics 函数求导:

    2) 损失函数

       【1】 平方损失函数:

             

        【2】绝对值损失函数

               

         【3】对数损失函数

                    

          在逻辑回归中,采用对数损失函数。

         在逻辑回归中,假设样本服从伯努利分布(0-1),然后求得该分布的似然函数,最终求该似然函数的极大值。求对数只是为了方便MLR过程。

    逻辑回归的对数损失函数:

           

             当y=1,假定样本为正类,,则损失为0,如果,即为

    损失->无穷。

    当y为0或1时,损失函数可以表示为:

        

     3)softmax

         softmax 分类器,用于多类分类,计算每一类的概率

        softmax计算公式:

        

        softmax-loss计算公式:

        

        

  • 相关阅读:
    python-- socket介绍
    Vue--element实现删除会员功能
    Vue--element实现编辑会员功能
    git clone速度过慢!
    Codeforces Round #730 (Div. 2) A/B/C/D1 解题思路
    KYOCERA Programming Contest 2021(AtCoder Beginner Contest 200) E
    Codeforces Round #719 (Div. 3) 解题报告
    ZJNU 1265
    PTA L3
    Codeforces 1503B/1504D
  • 原文地址:https://www.cnblogs.com/fanhaha/p/7019417.html
Copyright © 2011-2022 走看看