模型微调

模型微调

迁移学习（transfer learning）

定义：将从源数据集学到的知识迁移到目标数据集
原因：在源数据集训练的模型可以抽取通用的特征（边缘，形状，纹理等）

迁移常用技术-微调（fine tuning）

1. 在源数据集上训练一个神经网络模型
2. 目标模型复制除输出层之外的所有模型设计及其参数
3. 为目标模型添加一个输出大小为目标数据集类别个数的输出层
4. 目标模型输出层从头训练，其余层参数基于源模型微调

在使用预训练模型时，一定要和预训练时作同样的预处理。
如果你使用的是torchvision的models，那就要求: All pre-trained models expect input images normalized in the same way, i.e. mini-batches of 3-channel RGB images of shape (3 x H x W), where H and W are expected to be at least 224. The images have to be loaded in to a range of [0, 1] and then normalized using mean = [0.485, 0.456, 0.406] and std = [0.229, 0.224, 0.225].

训练时，对输出层采用随机初始化，一般需要更大学习率来学习模型，而其他层只需要使用较小的学习率即可