神经网络

神经网络

特性

• 全连接

• 非线性

  • 激活函数(保障神经网络的非线性, 在神经网络中的每一层添加一个激活函数)
    • 类别
      • Sigmod: 会出现梯度消失的现象
      • RELU: 目前使用最多的激活函数, 表达式时Max(0, x)

计算过程

• 正向传输

• 反向传输

• 参数更新

• 形象一点就是((x * w1) * w2) * w3这样的累乘得到的结果, 但是注意里面还是有激活函数加上保证了函数的非线性性

其他

• 样本的特征看成是列向量
• w权重看成是与列向量等长的一个行向量, 有多个, 有多少个神经元就有多少个w, 这些w组成了一个矩阵
• 在计算过程中提到的x * w1的过程就是两个神经元连线的过程