zoukankan      html  css  js  c++  java
  • Perceptron Algorithm 感知器算法及其实现

     Rosenblatt于1958年发布的感知器算法,算是机器学习鼻祖级别的算法。其算法着眼于最简单的情况,即使用单个神经元、单层网络进行监督学习(目标结果已知),并且输入数据线性可分。我们可以用该算法来解决and 和 or的问题。


    在讨论神经元的数学模型时,我们将单个神经元抽象为下图的信号流图形式。输入向量为x,权重向量为w,w0一路为bias,这里不再赘述。

     
     
    而本文算讲的算法,其解决的实际问题是,在知道输入向量x,和输出向量y的情况下,求解感知器的权重向量w以及bias。在几何上,我们可以理解为,我们有确定的n个点(x,y坐标确定),根据不断调整w的值,来求取一个超平面(Hyperplane)或称决策边界(Decision Boundary),将这n个点分隔成2组。

    因为在输入向量与权重向量内积运算后,induced local field的值为:
     
    Rosenblatt's <wbr>Perceptron <wbr>Algorithm <wbr>感知器算法及其实现
    而在其进入activation function时,很明显0是一个很重要的阈值,也即是输出值的分界点。
     
    所以,我们要解决的问题也就可以等同于求出如下等式的一个解:
    如果将bias单独拿出,则改写为:
     
    之前一直不理解bias存在于神经网络中的意义,直到在《Neural networks and deep learning》被醍醐灌顶。其实bias类似于阈值门槛的大小,阈值就是-w0*bias。而在Western读书的同学,也有能够一击领悟到其意义的,让我也是有些艳羡。
  • 相关阅读:
    hdu4990矩阵快速幂
    预处理+状态压缩+剪枝——codefoece 1209E
    AC自动机处理多串匹配——cf1202E
    二维差分前缀和——cf1202D(好题)
    序列递推——cf1204E(好题)
    建模+线性dp——cf1201D
    暴力——cf1202C
    经典排序背包——cf1203F
    思维+贪心——cf1042D
    分块——cf1207F
  • 原文地址:https://www.cnblogs.com/rhyswang/p/6798995.html
Copyright © 2011-2022 走看看