激活函数性质：为了增强网络的表示能力和学习能力
1、连续可导的非线性函数；2、函数简单，提高效率；3、导函数值域在一定区间。
神经网络是典型的分布式并行处理模型，神经元之间交互处理信息。
1》信息表示是分布式；2》记忆和知识存储在单元的连接上；3》通过逐步改变单元的连接强度来学习新知识
静态计算图和动态计算图
静态计算图：编译时构建，可以优化，程序运行时不能改变，但并行能力强，灵活性差
动态计算图：程序运行时构建，不容易优化，输入的网络结构不一致时，难以并行，但灵活性高
网络结构
前馈网络：单向传播，有向无环图表示，包含全连接前馈网络、卷积神经网络
反馈网络：单向或双向传递，有向循环图或无向图表示，包含循环神经网络、玻尔兹曼机
卷积神经网络
局部链接、权重共享。由卷积层、汇聚层和全连接层构成
感受野：视觉、听觉的神经特性，神经元只接受其支配的刺激区域的信号，例如视觉神经只接受视网膜的刺激信号
卷积：在信号处理和图像处理中，卷积是把信号通过滤波器转化。卷积是特征提取的有效方法，图像经过卷积得到结果的过程称为特征映射。卷积的主要功能是在图像（或某种特征）上滑动一个卷积核（即滤波器），通过卷积得到一组新特征。
互相关：在卷积的过程中通常需要卷积核翻转，互相关和卷积的区别可以理解为图像是否需要翻转。
汇聚层pooling：下采样层，特征选择、降低特征数量，从而减少参数数量，max pooling/mean pooling
本质是利用参数共享的过滤器。通过计算中心像素点和周边像素点的加权，构成feature mapping,实现空间特征的提取。
