神经网络的基本单元为神经元neuron,也称为process unit，可以做一些基本的运算操作。
人脑和动物大脑的发育，依赖于经验的积累和学习。神经网络就是一个用来仿照人脑进行学习的机器，其包含大量的神经元及他们间的互联。
可以定义，神经网络可以存储经验知识，并且使这些知识变得可用。明确的讲，神经网络可以从周遭环境获取经验，并进行学习，这些学到的知识，存储在Interneuron connection strengths，也叫做synaptic weights中。学习的过程称为learning algorithm。
需要注意的是，神经网络可以修改自己的topology，因为神经元的死亡和生长是被允许的。