转载自：http://deanhan.com/2018/07/26/vgg16/
摘要
本文对图片分类任务中经典的深度学习模型VGG16进行了简要介绍，分析了其结构，并讨论了其优缺点。调用Keras中已有的VGG16模型测试其分类性能，结果表明VGG16对三幅测试图片均能正确分类。
前言
VGG是由Simonyan 和Zisserman在文献《Very Deep Convolutional Networks for Large Scale Image Recognition》中提出卷积神经网络模型，其名称来源于作者所在的牛津大学视觉几何组(Visual Geometry Group)的缩写。
该模型参加2014年的 ImageNet图像分类与定位挑战赛，取得了优异成绩：在分类任务上排名第二，在定位任务上排名第一。
结构
VGG中根据卷积核大小和卷积层数目的不同，可分为A，A-LRN,B,C,D,E共6个配置(ConvNet Configuration)，其中以D,E两种配置较为常用，分别称为VGG16和VGG19。
下图给出了VGG的六种结构配置：
上图中，每一列对应一种结构配置。例如，图中绿色部分即指明了VGG16所采用的结构。
我们针对VGG16进行具体分析发现，VGG16共包含：
- 13个卷积层（Convolutional Layer），分别用conv3-XXX表示
- 3个全连接层（Fully connected Layer）,分别用FC-XXXX表示
- 5个池化层（Pool layer）,分别用maxpool表示
其中，卷积层和全连接层具有权重系数，因此也被称为权重层，总数目为13+3=16，这即是
VGG16中16的来源。(池化层不涉及权重，因此不属于权重层，不被计数)。
特点
VGG16的突出特点是简单，体现在：
-
卷积层均采用相同的卷积核参数
卷积层均表示为
conv3-XXX，其中conv3说明该卷积层采用的卷积核的尺寸(kernel size)是3，即宽（width）和高（height）均为3，3*3是很小的卷积核尺寸，结合其它参数（步幅stride=1，填充方式padding=same），这样就能够使得每一个卷积层(张量)与前一层（张量）保持相同的宽和高。XXX代表卷积层的通道数。 -
池化层均采用相同的池化核参数
池化层的参数均为2××2，步幅stride=2，max的池化方式，这样就能够使得每一个池化层（张量）的宽和高是前一层（张量）的1212。
-
模型是由若干卷积层和池化层堆叠（stack）的方式构成，比较容易形成较深的网络结构（在2014年，16层已经被认为很深了）。
综合上述分析，可以概括VGG的优点为: Small filters, Deeper networks.
块结构
我们注意图1右侧，VGG16的卷积层和池化层可以划分为不同的块（Block），从前到后依次编号为Block1~block5。每一个块内包含若干卷积层和一个池化层。例如：Block4包含：
- 3个卷积层，conv3-512
- 1个池化层，maxpool
并且同一块内，卷积层的通道（channel）数是相同的，例如：
block2中包含2个卷积层，每个卷积层用conv3-128表示,即卷积核为：3x3x3，通道数都是128block3中包含3个卷积层，每个卷积层用conv3-256表示,即卷积核为：3x3x3，通道数都是256
下面给出按照块划分的VGG16的结构图，可以结合图2进行理解：
VGG的输入图像是 224x224x3 的图像张量(tensor),随着层数的增加，后一个块内的张量相比于前一个块内的张量：
- 通道数翻倍，由64依次增加到128，再到256，直至512保持不变，不再翻倍
- 高和宽变减半，由 $224 ightarrow 112 ightarrow 56 ightarrow 28 ightarrow 14 ightarrow 7$
权重参数
尽管VGG的结构简单，但是所包含的权重数目却很大，达到了惊人的139，357，544个参数。这些参数包括卷积核权重和全连接层权重。
- 例如，对于第一层卷积，由于输入图的通道数是3，网络必须学习大小为3x3，通道数为3的的卷积核，这样的卷积核有64个，因此总共有（3x3x3）x64 = 1728个参数
- 计算全连接层的权重参数数目的方法为：前一层节点数×本层的节点数前一层节点数×本层的节点数。因此，全连接层的参数分别为：
-
- 7x7x512x4096 = 1027,645,444
- 4096x4096 = 16,781,321
- 4096x1000 = 4096000
FeiFei Li在CS231的课件中给出了整个网络的全部参数的计算过程（不考虑偏置），如下图所示：
图中蓝色是计算权重参数数量的部分；红色是计算所需存储容量的部分。
VGG16具有如此之大的参数数目，可以预期它具有很高的拟合能力；但同时缺点也很明显：
- 即训练时间过长，调参难度大。
- 需要的存储容量大，不利于部署。例如存储VGG16权重值文件的大小为500多MB，不利于安装到嵌入式系统中。
实践
下面，我们应用Keras对VGG16的图像分类能力进行试验。
Keras是一个高层神经网络API,Keras由纯Python编写 ，是tensorflow和Theano等底层深度学习库的高级封装 。使用Keras时，我们不需要直接调用底层API构建深度学习网络，仅调用keras已经封装好的函数即可。
本次试验平台：python 3.6 + tensorflow 1.8 + keras 2.2，Google Colab
源代码如下：
1 # -*- coding: utf-8 -*- 2 """ 3 Spyder Editor 4 5 This is a temporary script file. 6 """ 7 import matplotlib.pyplot as plt 8 9 from keras.applications.vgg16 import VGG16 10 from keras.preprocessing import image 11 from keras.applications.vgg16 import preprocess_input, decode_predictions 12 import numpy as np 13 14 def percent(value): 15 return '%.2f%%' % (value * 100) 16 17 # include_top=True，表示會載入完整的 VGG16 模型，包括加在最後3層的卷積層 18 # include_top=False，表示會載入 VGG16 的模型，不包括加在最後3層的卷積層，通常是取得 Features 19 # 若下載失敗，請先刪除 c:<使用者>.kerasmodelsvgg16_weights_tf_dim_ordering_tf_kernels.h5 20 model = VGG16(weights='imagenet', include_top=True) 21 22 23 # Input：要辨識的影像 24 img_path = 'frog.jpg' 25 26 #img_path = 'tiger.jpg' 并转化为224*224的标准尺寸 27 img = image.load_img(img_path, target_size=(224, 224)) 28 29 30 x = image.img_to_array(img) #转化为浮点型 31 x = np.expand_dims(x, axis=0)#转化为张量size为(1, 224, 224, 3) 32 x = preprocess_input(x) 33 34 # 預測，取得features，維度為 (1,1000) 35 features = model.predict(x) 36 37 # 取得前五個最可能的類別及機率 38 pred=decode_predictions(features, top=5)[0] 39 40 41 #整理预测结果,value 42 values = [] 43 bar_label = [] 44 for element in pred: 45 values.append(element[2]) 46 bar_label.append(element[1]) 47 48 #绘图并保存 49 fig=plt.figure(u"Top-5 预测结果") 50 ax = fig.add_subplot(111) 51 ax.bar(range(len(values)), values, tick_label=bar_label, width=0.5, fc='g') 52 ax.set_ylabel(u'probability') 53 ax.set_title(u'Top-5') 54 for a,b in zip(range(len(values)), values): 55 ax.text(a, b+0.0005, percent(b), ha='center', va = 'bottom', fontsize=7) 56 57 fig = plt.gcf() 58 plt.show() 59 60 name=img_path[0:-4]+'_pred' 61 fig.savefig(name, dpi=200)
上述程序的基本流程是：
- 载入相关模块，keras ，matplotlib，numpy
- 下载已经训练好的模型文件：
- 导入测试图像
- 应用模型文件对图像分类
需要额外说明的是：
-
程序运行过程中，语句
model = VGG16(weights='imagenet', include_top=True)会下载已经训练好的文件到c:<使用者>.kerasmodels文件夹下，模型的文件名为vgg16_weights_tf_dim_ordering_tf_kernels.h5,大小为527MB -
语句
pred=decode_predictions(features, top=5)[0]会下载分类信息文件到c:<使用者>.kerasmodels文件夹下，模型的文件名为imagenet_class_index.json,该文件指明了ImageNet大赛所用的1000个图像类的信息。（由于下载地址在aws上，梯子请自备） -
程序运行结束，会在工作目录下生成测试图片的预测图，给出了最有可能的前5个类列。名称为：
测试文件名_pred.png - 在程序中还可以查看模型的结构，语句为：
model.summary(),命令行输出模型的结构配置为：
1 _________________________________________________________________ 2 Layer (type) Output Shape Param # 3 ================================================================= 4 input_12 (InputLayer) (None, 224, 224, 3) 0 5 _________________________________________________________________ 6 block1_conv1 (Conv2D) (None, 224, 224, 64) 1792 7 _________________________________________________________________ 8 block1_conv2 (Conv2D) (None, 224, 224, 64) 36928 9 _________________________________________________________________ 10 block1_pool (MaxPooling2D) (None, 112, 112, 64) 0 11 _________________________________________________________________ 12 block2_conv1 (Conv2D) (None, 112, 112, 128) 73856 13 _________________________________________________________________ 14 block2_conv2 (Conv2D) (None, 112, 112, 128) 147584 15 _________________________________________________________________ 16 block2_pool (MaxPooling2D) (None, 56, 56, 128) 0 17 _________________________________________________________________ 18 block3_conv1 (Conv2D) (None, 56, 56, 256) 295168 19 _________________________________________________________________ 20 block3_conv2 (Conv2D) (None, 56, 56, 256) 590080 21 _________________________________________________________________ 22 block3_conv3 (Conv2D) (None, 56, 56, 256) 590080 23 _________________________________________________________________ 24 block3_pool (MaxPooling2D) (None, 28, 28, 256) 0 25 _________________________________________________________________ 26 block4_conv1 (Conv2D) (None, 28, 28, 512) 1180160 27 _________________________________________________________________ 28 block4_conv2 (Conv2D) (None, 28, 28, 512) 2359808 29 _________________________________________________________________ 30 block4_conv3 (Conv2D) (None, 28, 28, 512) 2359808 31 _________________________________________________________________ 32 block4_pool (MaxPooling2D) (None, 14, 14, 512) 0 33 _________________________________________________________________ 34 block5_conv1 (Conv2D) (None, 14, 14, 512) 2359808 35 _________________________________________________________________ 36 block5_conv2 (Conv2D) (None, 14, 14, 512) 2359808 37 _________________________________________________________________ 38 block5_conv3 (Conv2D) (None, 14, 14, 512) 2359808 39 _________________________________________________________________ 40 block5_pool (MaxPooling2D) (None, 7, 7, 512) 0 41 _________________________________________________________________ 42 flatten (Flatten) (None, 25088) 0 43 _________________________________________________________________ 44 fc1 (Dense) (None, 4096) 102764544 45 _________________________________________________________________ 46 fc2 (Dense) (None, 4096) 16781312 47 _________________________________________________________________ 48 predictions (Dense) (None, 1000) 4097000 49 ================================================================= 50 Total params: 138,357,544 51 Trainable params: 138,357,544 52 Non-trainable params: 0 53 _________________________________________________________________
可以看到总的训练参数为 $138,357,544$。
代码及图片文件全部放在我的github
结果
分别对虎（tiger）,猫（cat）,卷纸（paper_towel）三张图片进行分类：
网上随便下的图，效果还行.