机器学习笔记（7）：逻辑回归模型

损失函数（Cost function）

不能使用跟线性回归一样的损失函数，因为那样会使输出曲线是波浪形的，导致其不适合凸函数，有很多局部最优值。

线性回归的损失函数是这样的：

当 y = 1 时，J(θ) 的图是这样的：

当 y = 0 时，J(θ) 的图如下：

如果 y 为0， 如果 h_θ(x) 输出0，那么 cost function 也为0， 如果 h_θ(x) 接近1，那么 cost function 会接近无穷大。

如果 y 为1， 如果  h_θ(x) 输出1， 那么 cost function 为0，如果  h_θ(x)  接近0， 那么 cost function 会接近无穷大。

注意： cosf function 这样表示可以保证 J(θ) 是凸函数。 

---

简化 cost function 和梯度下降

我们可以把 cost function 的两个case 简化为一个 case:

整个 cost function 可以写成这样：

向量化的表示：

梯度下降可以这样表示：

梯度下降的向量化表示：

---

高级优化

 "Conjugate gradient", "BFGS", 以及 "L-BFGS" 是优化 θ 中比梯度下降更复杂但是更快的方法，很多库提供了这些方法。

---

多类别分类问题

 我们将二元分类问题扩展为 y = {0,1,...,n}

多类别分类时，我们先选择一个类，然后把所有剩下的其他类当做一个单独的第二类。这样，对每个 case 我们使用二元逻辑回归，然后返回 hypothesis 的最大值作为我们的预测。