之前思考过讲几个神经网络的结果进行一定的评判来选择出比较好的测试效果，并进行了一定的测试，果然会比单个的网络效果更好。但是实际上这个方面早就有人做了研究了。
在Kaggle的比赛上，有用岭回归来组合若干个不同的预测结果的。
对于单个神经网络的架构，可以保存不同时期的权重值进行预测，然后组合预测的结果，这样只需要训练一次神经网络就好了。
其中随机权值平均，SWA，Github上有Pytorch的代码。