VGG16迁移学习实现

VGG16迁移学习实现

本文讨论迁移学习，它是一个非常强大的深度学习技术，在不同领域有很多应用。动机很简单，可以打个比方来解释。假设想学习一种新的语言，比如西班牙语，那么从已经掌握的另一种语言（比如英语）学起，可能是有用的。

按照这种思路，计算机视觉研究人员通常使用预训练 CNN 来生成新任务的表示，其中数据集可能不够大，无法从头开始训练整个 CNN。另一个常见的策略是采用在 ImageNet 上预训练好的网络，然后通过微调整个网络来适应新任务。

这里提出的例子受启于 Francois Chollet 写的关于 Keras 的一个非常有名的博客（https://blog.keras.io/building-powerful-image-classification-models-using-very-little-data.html）。

这个想法是使用在像 ImageNet 这样的大型数据集上预先训练的 VGG16 网络。注意，训练的计算量可能相当大，因此使用已经预训练的网络是有意义的：

 图 1.  一个 VGG16 网络

如何使用 VGG16 呢？Keras 使其变得容易，因为有一个标准的 VGG16 模型可以作为一个库来使用，预先计算好的权重会自动下载。注意，这里省略了最后一层，并将其替换为自定义层，该层将在预定义的 VGG16 的顶部进行微调。

例如，下面将学习如何分类 Kaggle 提供的狗和猫的图片：

1. 从 Kaggle（https://www.kaggle.com/c/dogs-vs-cats/data）下载狗和猫的数据，并创建一个包含两个子目录（train 和 validation）的数据目录，每个子目录有两个额外的子目录，分别是 dogs 和 cats。
2. 导入稍后将用于计算的 Keras 模块，并保存一些有用的常量：

1. 加载 ImageNet 上预训练的 VGG16 网络，省略最后一层，因为这里将在预建的 VGG16 网络的顶部添加自定义分类网络，并替换原来 VGG16 的分类层：

 上述代码的输出如下：

1. 冻结预训练的 VGG16 网络的一定数量的较低层。在这里决定冻结最前面的 15 层：

 为了分类，添加一组自定义的顶层：

 自定义网络应该单独进行预训练，为了简单起见，这里省略了这部分，将此任务交给读者：

 创建一个新的网络，这是预训练的 VGG16 网络和预训练的定制网络的组合体：

 重新训练组合的新模型，仍然保持 VGG16 的 15 个最低层处于冻结状态。在这个特定的例子中，也使用 Image Augumentator 来增强训练集：

 在组合网络上评估结果：

解读分析

一个标准的 VGG16 网络已经在整个 ImageNet 上进行了预训练，并且使用了预先计算好的从网上下载的权值。这个网络和一个已经被单独训练的定制网络并置在一起。然后，并置的网络作为一个整体被重新训练，同时保持 VGG16 的 15 个低层的参数不变。

这个组合非常有效。它可以节省大量的计算能力，重新利用已经工作的 VGG16 网络进行迁移学习，该网络已经在 ImageNet 上完成了学习，可以将此学习应用到新的特定领域，通过微调去完成分类任务。

根据具体的分类任务，有几条经验法则需要考虑：

• 如果新的数据集很小，并且与ImageNet数据集相似，那么可以冻结所有的VGG16网络，并仅重新训练定制网络。这样，也可以最小化组合网络过度拟合的风险。

可运行代码 base_model.layers：layer.trainable=False 冻结所有低层参数。

• 如果新数据集很大，并且与ImageNet数据集相似，那么可以重新训练整个并置网络。仍然保持预先计算的权重作为训练起点，并通过几次迭代进行微调：

可运行代码 model.layers：layer.trainable=True 取消冻结所有低层的参数。

• 如果新数据集与ImageNet数据集有很大的不同，实际上仍然可以使用预训练模型的权值进行初始化。在这种情况下，将有足够的数据和信心通过整个网络进行微调。更多信息请访问http://cs231n.github.io/transfer-learning/。