案例：
假如你已经完成了正则化线性回归，也就是最小化 代价函数 J 的值，假如，在你得到你的学习参数以后，如果你要将你的假设函数放到一组新 的房屋样本上进行测试，结果发现在预测房价时产生了巨大的误差，如何改进这个算法。
方法：1. 获得更多的训练实例——通常是有效的，但代价较大，下面的方法也可能有效，可考虑先采用下面的几种方法。
2. 尝试减少特征的数量
3. 尝试获得更多的特征
4. 尝试增加多项式特征
5. 尝试减少正则化程度 λ
6. 尝试增加正则化程度 λ
等
但是问题就在于你如何知道上述方法中哪一个的效果是最有效的，如果你用了6个月时间来完成上述的一种方法后，遗憾的发现是一条不归路，那我想你可能会很难受。
我们不应该随机选择上面的某种方法来改进我们的算法，而是运用一些机器学习诊断法 来帮助我们知道上面哪些方法对我们的算法是有效的。
评估假设：
为了检验算法是否过拟合，我们将数据分成训练集和测试集，通常用 70%的数据作为训 练集，用剩下 30%的数据作为测试集。很重要的一点是训练集和测试集均要含有各种类型的 数据，通常我们要对数据进行“洗牌”，然后再分成训练集和测试集。
模型选择和交叉验证集
假设我们要在10个不同的次数的二项式模型之间进行选择，显然越高次数的多项式越能够适应我们的训练数据集，但是适应训练数据集并不代表着能推广至一般的情况。我们应该选一个更能适应一般情况的模型。这就需要用到交叉验证集来帮助选择模型（最小代价函数）。分配：60%的数据作为训练集，20%的数据作为交叉验证集，还有20%的数据作为测试集。
步骤：
1.使用训练集训练10个模型
2.用 10 个模型分别对交叉验证集计算得出交叉验证误差（代价函数的值）
3.选取代价函数值最小的模型
4.用步骤3中选出的模型对测试集计算得到泛化误差
不建议只分成training set和test set，即使能得到很好的泛化误差。
诊断偏差和方差
在统计学习框架下，大家刻画模型复杂度的时候，有这么个观点，认为Error = Bias +Variance。这里的Error大概可以理解为模型的预测错误率，是有两部分组成的，一部分是由于模型太简单而带来的估计不准确的部分——偏差（Bias），另一部分是由于模型太复杂而带来的更大的变化空间和不确定性——方差（Variance）。而算法表现不理想无外乎两种情况，一欠拟合，二过拟合。
首先先要明确方差和偏差得区别。偏差是指预测均值与真实值的关系,|future-true|。方差大家都知道的
判断一个算法是偏差还是方差有问题，因为这个问题对于弄清如何改 进学习算法的效果非常重要，高偏差和高方差的问题基本上来说是欠拟合和过拟合的问题。
我们通常会通过将训练集和交叉验证集的代价函数误差与多项式的次数绘制在同一张 图表上来帮助分析：
训练集误差和交叉验证集误差近似时：偏差/欠拟合
交叉验证集误差远大于训练集误差时：方差/过拟合
正则化和偏差/方差
尝试将λ从0，0.01，0.02，0.04......直到10(10.24)
选择λ的方法：
1.使用训练集训练出 12 个不同程度正则化的模型
2.用 12 模型分别对交叉验证集计算的出交叉验证误差
3.选择得出交叉验证误差最小的模型
4.运用步骤 3 中选出模型对测试集计算得出推广误差，我们也可以同时将训练集和交叉验证集模型的代价函数误差与 λ 的值绘制在一张图表上：
当 λ 较小时，训练集误差较小（过拟合）而交叉验证集误差较大
随着 λ 的增加，训练集误差不断增加（欠拟合），而交叉验证集误差则是先减小后 增加
学习曲线：
学习曲线是学习算法的一个很好的合理检验（sanity check）。学习曲线是将训练集误差和交叉验证集误差作为训练集实例数量（m）的函数绘制的图表。
由上图可知，也就是说在高偏差/欠拟合的情况下，增加数据到训练集不一定能有帮助。
如何利用学习曲线识别高方差/过拟合：
假设我们使用一个非常高次的多项式模型，并且正则化非常小，可以看出，当交叉验证集误差远大于训练集误差时，往训练集增加更多数 据可以提高模型的效果。
也就是说在高方差/过拟合的情况下，增加更多数据到训练集可能可以提高算法效果。
选择：
1. 获得更多的训练实例——解决高方差
2. 尝试减少特征的数量——解决高方差
3. 尝试获得更多的特征——解决高偏差
4. 尝试增加多项式特征——解决高偏差
5. 尝试减少正则化程度 λ——解决高偏差
6. 尝试增加正则化程度 λ——解决高方差