ud730是Udacity 谷歌给的deeplearning 课程，下列是视频地址，可能需要翻墙。
https://classroom.udacity.com/courses/ud730/lessons/6370362152/concepts/63798118150923#
课程相关代码：
https://github.com/tensorflow/tensorflow/tree/master/tensorflow/examples/udacity
该课程布置了几个有趣的小任务，其中我实现了任务3~任务6
https://github.com/Mandalalala/lesson/tree/master/ud730
任务 3: 正则化
使用正则化去优化深度学习模型
初始代码：打开 IPython notebook 中的这个任务：3_regularization.ipynb，按照指导去完成和运行每一个步骤。有些示例代码已经提供给你。
该任务要求实现regularization、dropout和learning rate decay，实验发现regularization提升效果明显。
任务 4: 卷积模型
设计并训练一个卷积神经网络
初始代码：打开 IPython notebook 中的这个任务 (4_convolutions.ipynb), 按照指导去完成和运行每一个步骤。 有些示例代码已经提供给你。
该任务要求实现LeNet5，使用28x28的图片作为输入。
LeNet5共有七层，如下所示。
LeNet-5中主要的有卷积层、下抽样层、全连接层3中连接方式。卷积层采用的都是5x5大小的卷积核。
C1层是卷积层，形成6张大小是28x28的特征图。卷积核有5x5个连接参数加上1个偏置共26个参数。
S2层是一个下抽样层。C1层的6个28x28的特征图分别进行以2x2为单位的下抽样得到6个14x14的图。每个特征图使用一个下抽样核，每个下抽样核有两个训练参数，所以共有2x6=12个训练参数，但是有5x14x14x6=5880个连接。
C3层是一个卷积层，卷积和和C1相同，不同的是C3的每个节点与S2中的多个图相连。C3层有16个10x10的特征图。怎么由6张特征图变成16张特征图呢？使用16个卷积核，每个卷积核和6张特征图卷积，卷积得到的结果再加权。
S4层是一个下采样层。C3层的16个10x10的图分别进行以2x2为单位的下抽样得到16个5x5的图。这一层有2x16共32个训练参数，5x5x5x16=2000个连接。连接的方式与S2层类似。
C5层是一个卷积层。由于S4层的16个图的大小为5x5，与卷积核的大小相同，所以卷积后形成的图的大小为1x1。这里形成120个卷积结果。每个都与上一层的16个图相连。所以共有(5x5x16+1)x120 = 48120个参数，同样有48120个连接。
F6层是全连接层。F6层有84个节点，对应于一个7x12的比特图，-1表示白色，1表示黑色，这样每个符号的比特图的黑白色就对应于一个编码。该层的训练参数和连接数是(120 + 1)x84=10164。
Output层也是全连接层，共有10个节点，分别代表数字0到9。
任务5和任务6见下两章节。
参考资料：
http://blog.csdn.net/qiaofangjie/article/details/16826849