Logistic Regression逻辑回归（分类）：
0:Negative Class
1:Positive Class
二元分类问题讲起。尽管有回归二字，事实上为分类算法，处理离散y值。
输出以以条件概率表示。若P(y=1|x;theta)= 0.7，表示有70%的概率y=1.那么有30%的概率y=0
决策边界(DecisionBoundary)：当z=0，即thetaT*X的值等于零时，此时如果函数为0.5。
以下是还有一个边界的样例：
仅仅要得到theta值。就能得到决策边界
逻辑回归的代价函数非常可能是一个非凸函数(non-convex)，有非常多局部最长处，所以假设用梯度下降法，不能保证会收敛到全局最小值。
单次的代价函数例如以下：
终于多样本的代价函数以及我们要做的工作：
依据前面的方法，同一时候地进行梯度下降法求出theta向量。
优化方法：共轭梯度、BFGS等等，无需选学习率，自己主动的，比梯度下降快，可是复杂。建议直接调用库。
多元分类：
1对多方法
h函数事实上就相应着条件概率，所以就是训练三个分类器。选条件概率最高的。
过拟合问题overfitting——正则化Regulation
对训练数据效果非常好，但无法对新数据进行非常好的预測。泛化能力弱，就是一般性不好
參数过多，高阶项多等。
解决方法：
1、降低特征数量（找基本的，或者用算法找）
2、正则化（保留全部參数。但较少维度或数量级）
正则化项：增加參数过多的惩处。当中lamda是控制正则化參数
lamda过大，easy造成欠拟合underfitting。相当于全部theta都约等于0。仅仅剩第一项。
正则化线性回归：正则化+梯度下降结合：
不惩处theta0，所以分开写
正规化方法加上正则化项后的求法：
正则化逻辑回归：
用梯度下降法的改动和线性回归形式一样，仅仅是h函数不一样