zoukankan      html  css  js  c++  java
  • 激活函数的作用

    转载自:https://www.cnblogs.com/silence-tommy/p/7113405.html

    机器学习笔记:形象的解释神经网络激活函数的作用是什么?

    此文转自知乎,哈工大NLPer 忆臻

    原出处:https://zhuanlan.zhihu.com/p/25279356

    查阅资料和学习,大家对神经网络中激活函数的作用主要集中下面这个观点:

    • 激活函数是用来加入非线性因素的,解决线性模型所不能解决的问题。

    下面我分别从这个方面通过例子给出自己的理解~

    @lee philip@颜沁睿俩位的回答已经非常好了,我举的例子也是来源于他们,在这里加入了自己的思考,更加详细的说了一下~

    开讲~

    首先我们有这个需求,就是二分类问题,如我要将下面的三角形和圆形点进行正确的分类,如下图:

    利用我们单层的感知机, 用它可以划出一条线, 把平面分割开:

    上图直线是由w_{1}x_{1} + w_{2}x_{2}+b=0 得到,那么该感知器实现预测的功能步骤如下,就是我已经训练好了一个感知器模型,后面对于要预测的样本点,带入模型中,如果y>0,那么就说明是直线的右侧,也就是正类(我们这里是三角形),如果y<0,那么就说明是直线的左侧,也就是负类(我们这里是圆形),虽然这和我们的题目关系不大,但是还是提一下~

    好吧,很容易能够看出,我给出的样本点根本不是线性可分的,一个感知器无论得到的直线怎么动,都不可能完全正确的将三角形与圆形区分出来,那么我们很容易想到用多个感知器来进行组合,以便获得更大的分类问题,好的,下面我们上图,看是否可行:

    好的,我们已经得到了多感知器分类器了,那么它的分类能力是否强大到能将非线性数据点正确分类开呢~我们来分析一下:

    我们能够得到y=w_{2-1}(w_{1-11}x_{1}+ w_{1-21}x_{2}+b_{1-1}  )+ w_{2-2}(w_{1-12}x_{1}+ w_{1-22}x_{2}+b_{1-2}  )+w_{2-3}(w_{1-13}x_{1}+ w_{1-23}x_{2}+b_{1-3}  )

    哎呀呀,不得了,这个式子看起来非常复杂,估计应该可以处理我上面的情况了吧,哈哈哈哈~不一定额,我们来给它变个形.上面公式合并同类项后等价于下面公式:

    y=x_{1}(w_{2-1}w_{1-11}+w_{2-2}w_{1-12} +w_{2-3}w_{1-13}  )+x_{2} (w_{2-1}w_{1-21}+w_{2-2}w_{1-22} +w_{2-3}w_{1-23}  )+w_{2-1} b_{1-1}  +w_{2-2} b_{1-2}+w_{2-3} b_{1-3}

    啧啧,估计大家都看出了,不管它怎么组合,最多就是线性方程的组合,最后得到的分类器本质还是一个线性方程,该处理不了的非线性问题,它还是处理不了。

    就好像下图,直线无论在平面上如果旋转,都不可能完全正确的分开三角形和圆形点:

    既然是非线性问题,总有线性方程不能正确分类的地方~

    那么抛开神经网络中神经元需不需要激活函数这点不说,如果没有激活函数,仅仅是线性函数的组合解决的问题太有限了,碰到非线性问题就束手无策了.那么加入激活函数是否可能能够解决呢?

    在上面线性方程的组合过程中,我们其实类似在做三条直线的组合,如下图:

    下面我们来讲一下激活函数,我们都知道,每一层叠加完了之后,我们需要加入一个激活函数(激活函数的种类也很多,如sigmoid等等~)这里就给出sigmoid例子,如下图:

    通过这个激活函数映射之后,输出很明显就是一个非线性函数!能不能解决一开始的非线性分类问题不清楚,但是至少说明有可能啊,上面不加入激活函数神经网络压根就不可能解决这个问题~

    同理,扩展到多个神经元组合的情况时候,表达能力就会更强~对应的组合图如下:(现在已经升级为三个非线性感知器在组合了)

    跟上面线性组合相对应的非线性组合如下:

    这看起来厉害多了,是不是~最后再通过最优化损失函数的做法,我们能够学习到不断学习靠近能够正确分类三角形和圆形点的曲线,到底会学到什么曲线,不知道到底具体的样子,也许是下面这个~

    那么随着不断训练优化,我们也就能够解决非线性的问题了~

    所以到这里为止,我们就解释了这个观点,加入激活函数是用来加入非线性因素的,解决线性模型所不能解决的问题。

  • 相关阅读:
    ubuntu12.04 死机 卡屏 画面冻结解决方案
    Install Firefox 20 in Ubuntu 13.04, Ubuntu 12.10, Ubuntu 12.04, Linux Mint 14 and Linux Mint 13 by PPA
    ListView1.SelectedItems.Clear()
    android studio 下载地址
    jquery.slider.js jquery幻灯片测试
    jquery.hovermenu.js
    jquery.tab.js选项卡效果
    适配 placeholder,jquery版
    jquery.autoscroll.js jquery自动滚动效果
    将 Google Earth 地图集成到自己的窗体上的 简单控件
  • 原文地址:https://www.cnblogs.com/wanshuai/p/9202241.html
Copyright © 2011-2022 走看看