【吴恩达机器学习】第8章 正则化

第8章 正则化

• 过拟合问题
• 代价函数
• 线性回归的正则化

过拟合问题

解决过拟合的方法

• 减少特征的个数
  • Manually select which features to keep.
  • Model selection algorithm
• 正则化(不减少特征个数）
  • Keep all the features, but reduce magnitude/values of parameters$heta_j$.
  • Works well when we have a lot of features, each of which contributes a bit to predicting $y$.

代价函数

在代价函数中增加正则化项
增加正则化项，使$heta_3$, $heta_4$趋于0.

如何选择正则化参数$lambda$

线性回归的正则化

Gradient descent

Normal equation
正规方程的正则化方法