注：以下所有内容均来自 网易公开课Andrew Ng的机器学习课程
本课要讲的内容包括：
1、Locally weighted regression(局部加权回归)
2、Probabilistic interpretation(概率解释)
3、Logistic regression(逻辑回归)
4、Perception(感知器)
5、Newton's method(牛顿方法)
欠拟合与过拟合的概念
对于以下三种拟合，第一种用一次函数拟合，第二种用二次函数拟合，第三种用7次函数。显然，二次函数的拟合比较恰当，一次函数为欠拟合，7次函数为过拟合。
补充概念：
参数学习算法（parametric learning algorithem）是已知X找到合适的theta的参数集合
非参数学习算法（no-parametric learning algorithem）参数的数量会随着训练集合m的增长而增长
局部加权回归（一种非参数学习算法）
LWR算法，就是在所选点周围选取一系列样本，然后用线性回归拟合函数，在构造函数选取参数theta时，靠近的点求和权重W(i)设置大一些
通常，我们设置W(i)函数为指数衰减函数：
概率解释
我们假设y和x满足如下等式，第二项为误差项
进一步假设误差项满足高斯分布，即
以上两式换元之后得到
概率密度函数也即关于theta的似然函数，即
又有m个样本满足独立同分布，故似然函数满足
为了计算方便，我们对函数取对数得 l(theta)，并化简
显然，要取得最大似然，就得第二项越小，这点解释了为什么最小二乘法能进行合理的预测
逻辑回归
我们在之前的线性回归中，遇到的都是连续分布的元祖，而当形如
时，我们继续采用线性规划会导致误差偏大，此时我们引入sigmoid函数（逻辑回归函数）
sigmoid函数图像如下
sigmoid函数求导有如下性质：
theta更新方式为
Perception(感知器)
其将逻辑回归中的sigmod函数替换成阈值函数
更新方式同样也是
