原文地址：
https://www.jiqizhixin.com/articles/2018-08-01-6
-----------------------------------------------------------------------------------------
机器之心：您如何对当前的迁移学习算法进行分类？原因是什么？
之前，我们通常将迁移学习分为三类。第一类是样本迁移，将可能对新领域有用的样本的权重加大。这一类方法非常经典，但是现在用得比较少。
第二种叫做特征迁移，特征空间的维度很高，如果我发现第一个领域里发现的重要特征能够覆盖新领域，那么我就把它迁移到新领域中去。迁移的部分可能是人工选出来的特征，这种方法在自然语言处理迁移中比较常见，也可以是一个特征提取器，这种方法在计算机视觉迁移中比较常见。
最后一种是参数迁移，迁移的范围与两个领域之间的距离有关。例如和图像相关的模型，越是靠下的层越通用，迁移能力越强，越是靠上的层越是特殊，迁移能力越弱。因此可以根据领域间距离定量地确定迁移的程度：如果两个领域相距很远，那么可以只迁移最下方的几层，如果两个领域很相似，则可以多迁移几层。此外还可以量化迁移后调节参数的时机：两个领域相距越远，参数调节就应该越早进行，两个领域相距越近，参数调节就可以越晚进行。
近年一个有意思的特征迁移案例是斯坦福大学为联合国做的「如何在卫星图片中标记贫穷的地区」。联合国在决定给每个地区分配的资助前，需要确定当地的贫穷程度。在过去，做法是派人去进行经济调查，而斯坦福大学试图用 跨越式迁移的方法来解决这个问题。研究人员首先对白天的卫星图片进行语义级别的分割，标出桥梁、建筑物等。然后以灯光明亮度代表富裕程度，通过白天和夜晚的图像比对，找出最富有的地区在白天有哪些可见的特征，比如游泳池。然后将游泳池视为富裕地区的显著特征后，再通过搜索游泳池周围经常出现特征，进行另一轮的代表性特征选择。逐步扩展下去，最后在识别贫富程度上达到和现场调查人员相近的准确率。
这类非常具有社会意义的选题也是值得国内研究者思考和借鉴的，我们不应该只擅长刷 ImageNet 榜单。
除此之外，根据采用的模型结构还可以分成采用/不采用深度学习的。近年随着对抗生成网络在迁移学习中的应用越来越广泛，还有一种分法是根据是否利用对抗的方法进行分类。迁移学习中天然存在可以对抗的部分：希望算法在本领域准确性尽可能高，希望算法在两个领域间的差距尽可能小。把这两个限制条件同时作为目标，就形成了一个恰恰合适对抗生成网络做的事情。
-----------------------------------------------------------------------------