一、激活函数：
1.硬极限函数：用于分类
2.线性函数：用于函数逼近
3.饱和线性函数：分类
4.Sigmoidal函数：S函数，是连续可微的，权值可用BP算法调节
5.高斯函数
二。学习规则：
1.Hebb规则
2.离散感知器学习规则
3.δ学习规则
4.Widrow—Hoff学习规则
三、神经网络的拓扑结构
1.前向神经网络：有向无环图的神经网络，没有反馈！除了输入层以外，隐层和输出层神经元都有一定的计算，因此成为计算节点。
两层感应器网络
多层感应器网络：所有的计算节点都为硬极限函数，则该网络为多层离散感应器。所以计算节点都为S函数，即所谓的BP网络。此时，网络权值和阈值可用误差反向传播学习算法（BP算法）学习！
BP算法的输出节点的激活函数根据应用的不同而异。如果用于分类，则输出层节点一般用S函数或者硬极限函数。如果用于函数逼近，则输出节点应该用线性函数。
径向基（RBF）神经网络：一个输入层、一个隐层、一个输出层。隐层基函数去距离函数，激活函数用高斯函数！
2.反馈神经网络：有环路！最著名的为Hopfield神经网络！