zoukankan      html  css  js  c++  java
  • 【ML】关于神经网络优化问题的随笔记

    1. 为什么不去试着最大化正确分类的图像数量而使用二次代价函数?

      在神经网络中,被正确分类的图像数量所关于权重和偏置的函数并不是一个平滑的函数。大多数情况下,对权重和偏执做出的微小变动完全不会影响被正确分类的图像的数量。这会导致我们很难去解决如何改变权重和偏置来取得改进的性能。而用⼀个类似⼆次代价的平滑代价函数则能更好地去解决如何⽤权重和偏置中的微⼩的改变来取得更好的效果。只有先专注于最小化二次代价,之后才能测试分类精度。

      注:平滑函数,在数学中特指无穷阶连续可导的函数,若一函数是连续的,则称其为C^0函数;若函数存在导函数,且其导函数连续,即连续可导,则称其为C^1函数;若一函数n阶可导,并且其n阶导函数连续,则为函数C^n。而光滑函数是对所有n都属于C^n的函数,特称其为C∞函数。优化过程中,如果目标函数是光滑函数,那么有一些最优化方法可以保证优化时得到全局最优解

    2. 

  • 相关阅读:
    onkeydown事件
    单击循环事件
    for-in循环
    in运算符
    数组成员升序降序排列
    bzoj 3754: Tree之最小方差树 模拟退火+随机三分
    bzoj 3752: Hack 预处理+暴力dfs
    hdu 5269 ZYB loves Xor I 分治 || Trie
    bzoj 4501: 旅行 01分数规划+概率期望dp
    bzoj 4260: REBXOR Trie+乱搞
  • 原文地址:https://www.cnblogs.com/Atanisi/p/7993084.html
Copyright © 2011-2022 走看看