正则化
过拟合问题、代价函数
泛化：一个假设模型应用到新样本的能力。
解决过拟合方法：
①减少特征数量。人工检查变量清单；模型选择算法。但会失去一些特征。
②正则化。保留所有特征，减少量级或参数大小。
线性回归的正则化。
正则化思想：若参数值较小，则意味着一个更简单的假设模型，曲线越平滑，越不易出现过拟合问题。
λ是正则化参数，控制两不同目标间的取舍，即使参数尽量小且更好的拟合训练集、数据集。
加的2项是一额外正则项，目的是缩小θ1~θ100每一个参数值，简化模型，使更平滑。
我们希望找到一个θ使代价函数最小：
方法一：梯度下降；
方法二：正规方程。
通常1-αλ/m是一个比1略小一点的数。
Logistic回归的正则化
如何优化梯度下降与其它优化算法使其可用于logistic回归。
