神经网络学习入门（一）
生物神经网络的启发与人工神经网络的发展历史
导论-历史背景和生物学知识
生物神经网络（生物学的观点）
1.生物神经功能，包括记忆，都储存在神经元和神经元之间的连接之中。
2.学习被视为建立起这些神经元之间的连接，或者改变更新已存在的连接。
由此提出一个问题：
我们能否构建一系列小的简单的人工神经元并且能训练他们为一些服务功能。
这个答案必须是可以的。
我们并不是用生物神经网络去实现，而是用程序或者芯片去实现。
尽管不能和大脑一样强大，但是可以用来实现一些非常有用的功能。
人工神经网络就是研究这些神经元和训练包含这些神经元的网络。
任何一门技术的进步都必须有两个组成部分：
概念和实现。Concept and implementation
First, one must have a concept, a way of thinking about a topic, some view of it that gives a clarity not there before. This may involve a simple idea, or it may be more specific and include a mathematical description.
To illustrate this point, consider the history of the heart. 在不同时期，心脏被看成灵魂中心或身体的热源，17世纪的医生们认识到心脏的作用类似一个泵，于是开始设计实验，研究泵的行为，这些实验最终开创了循环系统理论，可以说，没有泵的概念，就不会有人们对心脏的深入认识。
神经网络的研究历史：（神经计算机）
- 有关学习，视觉，反射的理论研究 没有导出神经元工作的数学模型
- 原理上证明神经网络可以计算任何算术和逻辑函数。 现代神经网络研究的起点
- 经典的条件反射由单个神经元的性质引起。他提出了一种生物神经元学习的机制。 有监督的hebe学习(chapter 7)
- 第一个应用：感知器网络的发明及相关的学习规则 Rosenblatt 感知器(chapter4)
- 提出一种新的学习算法，用来训练自适应线性神经网络，与rosenblatt感知器在结构和功能上类似 Widrow-Hoff学习规则(chapter 10)
以上的方法都有内在的缺陷，无法训练更加复杂的网络
- 1970，开发了新的神经网络，作为内存/存储器/记忆 Kohonen 网络(chapter 13,14)
- 开发自组织网络 Grossberg网络(chapter15,16)
提出两种新的概念：
- 使用统计观点（机制）来解释某些递归(recurrent)网络的实现,这种观点视为关联记忆(associative memory) Hopfield 网络(chapter17,18)
- 1980, 反传(backpropagation)算法来训练多层感知器网络 解决了感知器网络的缺陷(chapter 11,12)
神经网络的很多进展都与新概念有关，比如革新的体系结构和训练规则。
我们现在对大脑工作机制认识的还很肤浅。最重要的进展很可能在未来发生。
Biological Inspiration生物学的启发
简要的描述大脑的特征，这些特征对人工神经网络的发展有重大启发
大脑包含大量高度相连的单元(每个单元有104个连接)，这些单元被称为神经元。
神经元有三个主要的组成：dendrites(树突), cell body(细胞体), axon(轴突)
树突是细胞体的信息输入部分，轴突是细胞体的信息输出部分，细胞体的功能是进行计算，
一个细胞体的轴突与另一个细胞体的树突的连接成为轴突。
神经结构在整个生命期内不断进行改变。后期的改变主要是轴突的改变，轴突的加强和减弱。
新记忆的形成是通过改变轴突的强度而实现。所以认识一个新朋友的面孔的过程包含了各种突触的改变过程。
对人工神经网络的启发
- 可计算单元的高度互联
- 处理单元之间的连接决定了网络的功能，在神经网络中采用合适的连接来就解决特定的问题
参考文献：
[神经网络设计].(美国)Hagan