zoukankan      html  css  js  c++  java
  • 转载:sigmoid和softmax总结

    转自:http://blog.csdn.net/u014422406/article/details/52805924

    sigmoid函数(也叫逻辑斯谛函数):
     引用wiki百科的定义:

      A logistic function or logistic curve is a common “S” shape (sigmoid curve).

      其实逻辑斯谛函数也就是经常说的sigmoid函数,它的几何形状也就是一条sigmoid曲线。

    这里写图片描述

      logistic曲线如下:
      这里写图片描述

    同样,我们贴一下wiki百科对softmax函数的定义:

    softmax is a generalization of logistic function that “squashes”(maps) a K-dimensional vector z of arbitrary real values to a K-dimensional vector σ(z) of real values in the range (0, 1) that add up to 1.

      这句话既表明了softmax函数与logistic函数的关系,也同时阐述了softmax函数的本质就是将一个K
    维的任意实数向量压缩(映射)成另一个K

    维的实数向量,其中向量中的每个元素取值都介于(0,1)之间。

      softmax函数形式如下:
      这里写图片描述

    如上图,如果某一个zj大过其他z,那这个映射的分量就逼近于1,其他就逼近于0,主要应用就是多分类,sigmoid函数只能分两类,而softmax能分多类,softmax是sigmoid的扩展。

    总结:sigmoid将一个real value映射到(0,1)的区间(当然也可以是(-1,1)),这样可以用来做二分类。
    而softmax把一个k维的real value向量(a1,a2,a3,a4….)映射成一个(b1,b2,b3,b4….)其中bi是一个0-1的常数,然后可以根据bi的大小来进行多分类的任务,如取权重最大的一维。

  • 相关阅读:
    27个提升效率的iOS开源库推荐
    HTTP Authorization
    两种方法删除NSUserDefaults所有记录
    label调整字间距,调整行间距
    iphone手机屏幕大小
    app 图标需要的大小
    多了一层或者多层响应者 如何实现跳转
    用python实现excel中查找指定字符的行信息
    Python 遍历一个目录,输出所有的文件名
    kettle HTTP client
  • 原文地址:https://www.cnblogs.com/harvey888/p/7087129.html
Copyright © 2011-2022 走看看