当我们成功实现一个机器学习算法并将其用于解决实际问题时,常常会发现它的性能
(分类、回归准确度)达不到我们足够满意的状态。在这种情况下,我们有以下六种选项
来提高当前算法的性能
1 增加training set的数目 这种方法适合模型发生过拟合的情况
2 减小feature的数量(使用更少feature) 这种方法适合模型发生过拟合
3 增加feature的数量(使用更多feature) 这种方法适合模型发生欠拟合
4 增加多项式feature 这种方法适合发生欠拟合的模型
5 减小λ 适合欠拟合的模型
6 增大λ 适合过拟合的模型
注意以上几点,就可以避免由于方向选择的不对造成的时间浪费。
对神经网络而言,一般说来,层数多/每层节点数多的复杂神经网络的性能往往比简答的神经网络性能好。
如果一个神经网络欠拟合的话,可以考虑增加层数、增加每层节点数、减小λ。
反之,如果是过拟合的话,最佳选项是增大λ。