zoukankan      html  css  js  c++  java
  • 神经网络的成本函数

    让我们首先定义一些需要用到的变量:

    L:神经网络的层数;

    Sl:第l层神经网络节点数量;

    K:神经网络输出层节点数;

    回想一下,在神经网络中,我们可能有许多输出节点。我们HΘ(x)k表示一个假设的结果在第k个输出节点的输出。

    我们的神经网络的成本函数将是我们用于逻辑回归的一个推广。回顾正规logistic回归的代价函数是:

    对于神经网络,它会稍微复杂一些:

    我们已经添加了一些嵌套和说明我们的多个输出节点。在方程的第一部分,在方括号之前,我们有一个额外的嵌套求和,它通过输出节点的数量循环。

    在正则化部分,在方括号之后,我们必须考虑多个θ矩阵。我们当前θ矩阵中的列数等于当前层(包括偏置单元)中的节点数。我们当前θ矩阵中的行数等于下一层中的节点数(不包括偏置单元)。和以前一样,逻辑回归,我们每个术语都是平方的。

    Note:

    • the double sum simply adds up the logistic regression costs calculated for each cell in the output layer
    • the triple sum simply adds up the squares of all the individual Θs in the entire network.
    • the i in the triple sum does not refer to training example i
  • 相关阅读:
    percona_xtrabackup
    利用java实现的一个发送手机短信的小例子
    使用mybatis执行oracle存储过程
    oracle 存储过程 基础
    oracle存储过程常用技巧
    oracle存储过程、声明变量、for循环|转|
    Oracle 存储过程
    mybatis 调用存储过程 返回游标 实例
    Spring Aop实例
    Struts2之自定义类型转换器
  • 原文地址:https://www.cnblogs.com/zhengzhe/p/7325572.html
Copyright © 2011-2022 走看看