神经网络(一)：前向神经网络(FP)

1.相关概念

神经网络(Neural Network)本质是一个非线性分类器（可以是二分类或多分类），适用于样本特征维度很高，并且非线性可分时。

【神经网络最终输出是一个复杂的非线性预测函数，可视化为高维空间中的一个复杂的非线性边界】

【神经网络的训练过程就是根据输入样本(xi,yi)拟合出权重参数，模型训练的最终结果是得到权重参数weight】

                              非线性边界示意图

                           简单前向传播神经网络示意图 

神经网络的结构(architecture)：输入层，隐藏层(1或多层)，输出层相关参数

输入层：样本特征

隐藏层：通过非线性函数构造的复杂特征

输出层：分类结果【如果是sigmoid函数的话，则输出属于某一种类的概率值。】

偏置(bias)：除了输出层之外，输入层和隐藏层都有一个偏置项a0。

权重系数矩阵(weights/parameter matrix)：注意维度为 (S_j+1 x S_j+1)。

激励函数(activation function)：神经网络中应用的非线性函数：可以是relu(),sigmoid()...【sigmoid也叫 logistic function】

【神经网络模型和logistic回归的联系：当所用的函数时sigmoid函数时，第j+1层中单个神经元的计算相当于一次logistic回归。神经网络的进步之处在于在一层中构造多个复杂特征，并可以有多层。神经网络的代价函数是logistic回归的代价函数的一般化】 

前向传播步骤：

2.相关公式及向量表示

1)代价函数：

logistic regression:

neural network:

【 】

2) 多分类输出yi的表示形式：向量 

 

3.简单例子（python/matlab，开源框架）

1) AND、(NOTx1)AND(NOTx2)、OR=> XNOR 【简单例子说明复杂特征的构造】

2) 书写数字识别

3) 计算机视觉识别道路不同对象（行人、摩托、小轿车、大货车）【多元分类问题】

参考资料：

1.吴恩达机器学习相关网站、视频及笔记

https://www.coursera.org/learn/machine-learning，斯坦福机器学习资料

2.B站前馈神经网络白板推导