局部加权回归（ locally weighted regression ）
特征选择问题：underfitting,overfitting
parametric learing algorithm:有固定数目的参数以用来数据拟合的算法；
Non-parametric learing algorithm:参数随着训练集大小线性增长；
LWR:fit ( heta) to minimize (sum_iw^{(i)}(y^{(i)}- heta^Tx^{(i)})^2) where (w^{(i)}=exp(-frac{{(x^{(i)}-x)^2}}{2 au^2 }))
解得( heta=(X^TWX)^{-1}X^TWy)
备注：每次预测一个，都需要重新建立模型；
为什么选择最小二乘：
assume (y^{(i)}= heta^Tx^{(i)}+varepsilon ^{(i)})
(P(varepsilon ^{(i)})=frac{1}{sqrt{2pi}sigma}exp{(-frac{(varepsilon ^{(i)})^2}{2sigma})}) 假设为高斯分布的原因：一个合理准确的假设（中心极限定理）；数学计算的便利；
so $y{(i)}|x{(i)}; heta $ ~ (N ( heta^Tx^{(i)},sigma^2)) 其中( heta)不是随机变量，所以用的是分号；
$varepsilon ^{(i)}s $ are IID independently identically distributed
(L( heta)=P(vec y|X; heta))=Pi_{i=1}^mP(y^{(i)}|x^{(i)}; heta))
极大似然估计：choose ( heta) to maximize (L( heta))
(LL( heta)=log L( heta)=sum_{(i=1)}^mlog[frac{1}{sqrt{2pi}sigma}exp{(-frac{(varepsilon ^{(i)})^2}{2sigma})}]=mlogfrac{1}{sqrt{2pi}sigma}+sum_{i=1}^m-frac{(y^{(i)}- heta^Tx^{(i)})^2}{2sigma})
to minimizie (J( heta)=sum_{i=1}^{m}frac{(y^{(i)}- heta^Tx^{(i)})^2}{2})
logistic回归:（离散）分类算法，解决二分类问题
逻辑回归（Logistic Regression）与线性回归（Linear Regression）都是一种广义线性模型（generalized linear model）。逻辑回归假设因变量 y 服从伯努利分布，而线性回归假设因变量 y 服从 高斯分布。
(yepsilon {0,1}h_ heta(x)epsilon[0,1])
choose假设函数: (h_ heta(x)=g( heta^Tx)=frac{1}{1+e^{- heta^Tx}}) g(z)为logistic或者sigmoid函数
(P(y=1|x; heta)=h_ heta(x)) (P(y=0|x; heta)=1-h_ heta(x)) ->(P(y|x; heta)=(1-h_ heta(x))^{1-y}h_ heta(x)^y)
决策边界：一个方程，分开两个部分
在逻辑回归中，假设函数（h=g(z)）用于计算样本属于某类别的可能性；决策函数（h=1(g(z)>0.5)）用于计算（给出）样本的类别；决策边界（θ^Tx=0）是一个方程，用于标识出分类函数（模型）的分类边界。
代价函数：
(L( heta)=P(vec y|X; heta))=Pi_{i=1}^m(1-h_ heta(x^{(i)}))^{1-y^{(i)}}h_ heta(x^{(i)})^{y^{(i)}})
(LL( heta)=logL( heta)) 可以用梯度上升法做,其中(frac{partial }{partial heta_j}LL( heta)=sum_{i=1}^m(y^{(i)}-h_ heta(x^{(i)}))x_j^{(i)})
矩阵法更新公式： W=W+（Y-W(X^{(i)^T}) ）(X^{(i)})