zoukankan      html  css  js  c++  java
  • 损失函数及经验风险和结构风险

    一、常见的损失函数

     常见的损失函数见这里:https://www.cnblogs.com/always-fight/p/9099704.html

     

    二、关于经验风险和结构风险最小化

     模型(f(X))关于训练数据集的平均损失称为经验风险:(R(f) = 1/Nsum_{i=1}^{N}L(y_i,f(x_i)))

     关于如何选择模型,监督学习有两种策略:经验风险最小化和结构风险最小化。

      经验风险最小化的策略认为经验风险最小的模型就是最好的模型:(min 1/Nsum_{i=1}^{N}L(y_i,f(x_i))),当样本量很小时,经验风险最小化模型容易产生过拟合。

      结构风险最小化模型策略是在经验风险最小化策略的基础上加了正则化项:(R(f) = 1/Nsum_{i=1}^{N}L(y_i,f(x_i)) + lambda J(f)),其中(J(f))表示模型的复杂度,模型f越复杂,(J(f))值越大,模型f越简单,(J(f))值越小

      结构风险最小化模型策略认为结构风险最小的模型是最优模型:(min 1/Nsum_{i=1}^{N}L(y_i,f(x_i)) + lambda J(f))。

     所以监督学习问题就变成了经验风险或者结构风险的最优化问题。

  • 相关阅读:
    2.4学习
    2.3学习
    2.2学习
    2.1学习
    公文流转系统 模拟
    《GCC编译器的使用以及静态库和动态库的制作与使用》
    《驱动调试
    《海思3521D
    《驱动调试
    《驱动调试
  • 原文地址:https://www.cnblogs.com/always-fight/p/9483253.html
Copyright © 2011-2022 走看看