经验风险与期望风险

经验风险与期望风险

经验风险来源于训练数据集，训练数据集的平均损失也称为经验风险。而期望风险则针对的是全体数据。也就是已有的数据，未有的数据都包括在内。我们往往希望的得到的模型不仅要对已有的数据有较好的预测效果，还更要对未知的的数据的预测有好的效果。
经验风险与期望风险有什么关系呢？我们往往希望得到的模型期望风险能够越小越好，也就是泛化能力越强越好。但是，期望风险我们不能直接得到。且我们可知当训练数据集很多，接近无穷时，经验风险就会非常接近期望风险。所以很多时候，我们希望如果能有大量的训练数据来训练模型，那么就可以得到泛化能力较好的模型。但有时训练数据不多，我们则会用别的方法尽量通过使经验误差较小的同时，也能有较好的泛化能力。比如，正则化、交叉验证等。
经验风险与期望风险的关系，我们还可以去尝试联想一下概率论中点估计那一章节的知识。