神经网络模型
简单的神经网络
前向传播
代价函数
对于单个例子 。其代价函数为:
给定一个包括m个例子的数据集,我们能够定义总体代价函数为:
以上公式中的第一项 是一个均方差项。
第二项是一个规则化项(也叫权重衰减项)。其目的是减小权重的幅度。防止过度拟合。
反向传播算法
反向传播算法,它是计算偏导数的一种有效方法。
批量梯度下降法
梯度检验
给定一个被觉得能计算 的函数
,我们能够用以下的数值检验公式
计算两端是否一样来检验函数是否正确。
自编码神经网络
整体代价函数