【吴恩达机器学习】第9章 神经网络学习

第9章 神经网络学习

• 非线性假设
• 神经元与大脑
• 模型展示 1
• 模型展示 2
• 例子与直觉理解 1
• 例子与直觉理解2

非线性假设

为什么需要学习这个算法
非线性拟合

• 多项式
  多项式拟合参数个数大于特征个数
• 神经网络

当特征个数过大时，多项式拟合参数过多
二次项的个数大约是$(n^2)/2$，$n$为特征的个数。
三次项个数大约是$(n^3)/6$

神经元与大脑

大脑能够通过同一套算法处理不同类型的信号(听觉、触觉、视觉）。

模型展示 1

参数与权重
模型的权重和参数是一个意思。

神经网络

参数矩阵的大小
$s_{j+1} imes(s_j + 1)$，$s_j$为第$j$层的单元数

第二层

第三层

模型展示 2

如何高效进行计算，以及一个向量化实现的方式。
明白如何学习复杂的非线性假设函数。

矩阵表示

前向传播
从第一层到最后一层的计算过程也叫前向传播。

神经网络与logistics回归
每层的每个单元的计算与logistics回归有相同的形式，但是输入不是$x_i$，而是上一层单元的输出$a^{(j)}_i$

例子与直觉理解 1

• 神经网络是怎么样计算的
• 为什么能够用来学习复杂的非线性假设模型

神经网络是如何学习复杂非线性假设模型的

拟合的目标：

AND运算
令$w_0 = -30, w_1=20, w_2=20$


$OR运算$

例子与直觉理解2

NOT运算

XNOR运算