zoukankan      html  css  js  c++  java
  • 手推机器学习公式(一) —— BP 反向传播算法

    方便起见,本文仅以三层的神经网络举例。

    • f():表示激励函数
    • xi:表示输入层;
    • yj:表示中间的隐层;
      • yj=f(netj)
      • netj=i=0nvijxi
    • ok:表示输出层,dk 则表示期望输出;
      • ok=f(netk)
      • netk=j=0mwjkyj
    • vij,wjk 分别是连接输入层-隐层,隐层和输出层的权值矩阵;

    BP 既然称为 error back propagation 算法,我们首先来看 error 的一种常见定义:

    E=12(d⃗ o⃗ )2=12k=1(dkok)2

    三层神经网络下,将其展开至隐层:

    E==12k=1(dkok)212k=1dkfj=0mwjkyj2

    进一步展开至输入层:

    E===12k=1(dkok)212k=1dkfj=0mwjkyj212k=1dkfj=0mwjkf(i=0nvijxi)2

  • 相关阅读:
    SaltStack 配置SLS过程
    Python 正则表达式
    Python 矩阵的旋转
    SaltStack 远程执行
    SaltStack 配置管理
    SaltStack
    Python 装饰器
    Python 生产者和消费者模型
    Python 迭代器和生成器
    Python json模块
  • 原文地址:https://www.cnblogs.com/mtcnn/p/9422113.html
Copyright © 2011-2022 走看看