《python深度学习》笔记---7.3.3、模型集成
一、总结
一句话总结：
【集成是指将一系列不同模型的预测结果汇集到一起，从而得到更好的预测结果】：想要在一项任务上获得最佳结果，另一种强大的技术是模型集成（model ensembling）。集 成是指将一系列不同模型的预测结果汇集到一起，从而得到更好的预测结果。
【你会发现优胜者都是将很多模型集成到一起，它必然可以打败任何单个模型】：观察机器学习竞赛，特别是Kaggle上的竞赛，你会发现优胜者都是将很多模型集成到一起，它必然可以打败任何单个模型，无论这个模型的表现多么好。
1、集成依赖于这样的假设，即对于独立训练的不同良好模型，它们表现良好可能是因为不同 的原因？
【从略有不同的角度观察数据来做出预测】：每个模型都从略有不同的角度观察数据来做出预测，得到了“真相”的一部分，但不 是全部真相。
【就像古代寓言中的盲人摸象】：你可能听说过盲人摸象的古代寓言：一群盲人第一次遇到大象，想要通过触摸来 了解大象。每个人都摸到了大象身体的不同部位，但只摸到了一部分，比如鼻子或一条腿。这 些人描述的大象是这样的，“它像一条蛇”“像一根柱子或一棵树”，等等。
【数据的多面性】：这些盲人就好比机器 学习模型，每个人都试图根据自己的假设（这些假设就是模型的独特架构和独特的随机权重初 始化）并从自己的角度来理解训练数据的多面性。
【每个人都得到了数据真相的一部分】：每个人都得到了数据真相的一部分，但不是 全部真相。将他们的观点汇集在一起，你可以得到对数据更加准确的描述。大象是多个部分的 组合，每个盲人说的都不完全准确，但综合起来就成了一个相当准确的故事。
2、模型集成的时候预测结果应该怎么汇集在一起？
【最简单的方法就是将它们的预测结果取平均值作为预测结果】：只有这组分类器中每一个的性能差不多一样好时，这种方法才奏效。如果其中一个分类器 性能比其他的差很多，那么最终预测结果可能不如这一组中的最佳分类器那么好。
【将分类器集成有一个更聪明的做法，即加权平均】：其权重在验证数据上学习得到。通常来 说，更好的分类器被赋予更大的权重，而较差的分类器则被赋予较小的权重。为了找到一组好 的集成权重，你可以使用随机搜索或简单的优化算法（比如 Nelder-Mead 方法）。
3、模型集成 准确率高的本质原因是什么？
【分类器的多样性】：想要保证集成方法有效，关键在于这组分类器的多样性（diversity）。多样性就是力量。如 果所有盲人都只摸到大象的鼻子，那么他们会一致认为大象像蛇，并且永远不会知道大象的真 实模样。
【那么这些偏差会彼此抵消，集成结果会更加稳定、更加准确】：是多样性让集成方法能够取得良好效果。用机器学习的术语来说，如果所有模型的偏 差都在同一个方向上，那么集成也会保留同样的偏差。如果各个模型的偏差在不同方向上，那 么这些偏差会彼此抵消，集成结果会更加稳定、更加准确。
4、模型集成 准确率高的本质原因是 多样性，那么我们应该怎么选择集成的模型？
【模型应该尽可能好，同时尽可能不同】：因此，集成的模型应该尽可能好，同时尽可能不同。因此，集成的模型应该尽可能好，同时尽可能不同。
【相同网络不同初始化参数不可取】：有一件事情基本上是不值得做的，就是对相同的网络，使 用不同的随机初始化多次独立训练，然后集成。如果模型之间的唯一区别是随机初始化和训练 数据的读取顺序，那么集成的多样性很小，与单一模型相比只会有微小的改进。
5、将基于树的方法（比如随机森林或梯度提升树）和深度神经网络进行集成 实例启示？
【集成中很差的一个模型极大地改进了总体的集成结果】：集成中的某一个模型来源于与其他模型都不相同的方法（它是正 则化的贪婪森林），并且得分也远远低于其他模型。不出所料，它在集成中被赋予了一个很小的 权重。但出乎我们的意料，它极大地改进了总体的集成结果，因为它和其他所有模型都完全不同， 提供了其他模型都无法获得的信息。
【集成不在于你的最佳模型有多好，而在于候选模型集合的多样性】。这正是集成方法的关键之处。
6、近年来，一种在实践中非常成功的基本集成方法是宽且深（wide and deep）的模型类型？
【它结合了深度学习与浅层学习】：这种模型联合训练一个深度神经网络和一个大型的线性模型。 对多种模型联合训练，是实现模型集成的另一种选择。
7、7.3.4 小结？
【深度可分离卷积很可能会完全取代普通卷积】：构建高性能的深度卷积神经网络时，你需要使用残差连接、批标准化和深度可分离卷积。 未来，无论是一维、二维还是三维应用，深度可分离卷积很可能会完全取代普通卷积， 因为它的表示效率更高。
【系统性地搜索超参数空间，以找到最佳选择】：构建深度网络需要选择许多超参数和架构，这些选择共同决定了模型的性能。与其将这 些选择建立在直觉或随机性之上，不如系统性地搜索超参数空间，以找到最佳选择。目前， 这个搜索过程的计算代价还很高，使用的工具也不是很好。但Hyperopt 和 Hyperas 这两 个库可能会对你有所帮助。进行超参数优化时，一定要小心验证集过拟合！
【多样性就是力量】：想要在机器学习竞赛中获胜，或者想要在某项任务上获得最佳结果，只能通过多个模型 的集成来实现。利用加权平均（权重已经过优化）进行集成通常已经能取得足够好的效 果。请记住，多样性就是力量。将非常相似的模型集成基本上是没有意义的。最好的集 成方法是将尽可能不同的一组模型集成（这组模型还需要具有尽可能高的预测能力）。
二、内容在总结中
博客对应课程的视频位置：