zoukankan      html  css  js  c++  java
  • 对模型方差和偏差的解释之二:泛化误差

    原文:http://blog.csdn.net/vivihe0/article/details/33319969

    我们说过,如何在实际应用中建模,我们不可能知道产生数据的真实函数是什么,那么如何评价模型的好坏呢?由于我们拟合曲线的目标是对新的x值做出好的预测。为了检验我们建立的模型的好坏,我们需要一个测试集,这个集合与我们训练模型的训练集相互独立。也就是说,测试集中的样本数据必须是在训练模型的时候,模型没有见过的样本数据。已经训练好的模型在遇见新的样本时的表现被称作泛化性能

    现在我们还是利用函数y=sin(2*pi*x)来产生数据。我们分别产生两个数据集,训练集和测试集。训练集的产生过程与上面的例子一样,包含11个样本点;测试集是在0到1的范围内随机产生100个输入样本x值,然后用与训练集一样叠加噪声项,产生目标输出值t。我们用1阶到10阶的多项式分别拟合11个训练集样本,再用拟合的模型在测试集上测试。这样我们可以得到模型在训练集和测试集上的误差大小。

    我们用均方误差(mean square error)来定义误差的大小,它是残差平方和除以样本数。这样模型在不同样本数的样本集上的误差就有了可比性。相应的MATLAB代码如下,结果见图。

    1. %产生训练集11个样本  
    2. xTrain = 0:0.1:1;  
    3. tTrain = sin(2*pi*xTrain) + normrnd(0, 0.3, 1, 11);  
    4.   
    5. % 产生测试集100个样本  
    6. xTest = unifrnd(0, 1, 1, 100);  
    7. tTest = sin(2*pi*xTest) + normrnd(0, 0.3, 1, 100);  
    8.   
    9. %用训练集拟合10个不同阶数的多项式,其系数保存系数在pCell中  
    10. polyCell = cell(10, 1);  
    11. for i = 1 : 10  
    12.     polyCell{i} = polyfit(xTrain, tTrain, i);  
    13. end  
    14.   
    15. %计算模型在训练集和测试集上的误差  
    16. rmsTrain = zeros(1, 10);  
    17. rmsTest = zeros(1, 10);  
    18. for i = 1 : 10  
    19.     e = polyval(polyCell{i}, xTrain) - tTrain;  
    20.     rmsTrain(i) = e*e'/11;  
    21.     e = polyval(polyCell{i}, xTest) - tTest;  
    22.     rmsTest(i) = e*e'/100;  
    23. end  
    24.   
    25. %绘图  
    26. plot([1:10], rmsTrain, '-ob', 'LineWidth', 3, 'MarkerSize', 10)  
    27. hold on  
    28. plot([1:10], rmsTest, '-or', 'LineWidth', 3, 'MarkerSize', 10)  
    29. legend({'训练集', '测试集'},  'fontsize', 15);  
    30. xlabel('模型阶数', 'fontsize', 15)  
    31. ylabel('均方误差', 'fontsize', 15)  


    从图中可以看出,随着阶数的增加,模型在训练集上的均方误差是逐渐下降的,但是在测试集上的误差在3阶达到最小值之后就逐渐上升。在阶数达到9阶时,模型在训练集上的均方误差达到了0,也就是拟合的曲线完美地穿过了训练样本点,但是模型在测试集上的表现却很差。也就是说,当模型过分地复杂时,模型在训练集上完美的拟合不能保证其具有好的泛化性能。

    我们也可以观察不同阶数的多项式模型的系数。在上面一段代码中,模型的系数被保存在元胞数组pCell中,所以可以在MATLAB命令行中用以下命令查看第i个多项式的系数。

    polyCell{i}

    例如输入:

    polyCell{10}

    你可以看出当多项式的阶数为10时,模型的系数很大。通过这些很大的系数,模型的曲线完美地穿过了10个样本点,但是在这些样本点周围的位置,曲线的波动性很大,如图1第4个子图所示。也就是说,多项式模型的阶数越大,模型越灵活,拟合的曲线越容易适应随机的噪声。

  • 相关阅读:
    资料工作手册
    这么点破玩艺,昨天我为了学会它,花了六小时
    压力太大,使人过早衰老
    这是真的么。
    我可怜的好友。。。
    操了,上个网怎么就这么憋屈呢
    编程习惯,代码风格,其实很重要
    其实,我并不喜欢脚本语言
    咱也起一卦,看看北京是否还会继续下雨
    我一点不偏激,只是,我从不抱有侥幸思想
  • 原文地址:https://www.cnblogs.com/zhizhan/p/3813392.html
Copyright © 2011-2022 走看看