机器学习笔记（1）： 模型和 cost function

表达模型

变量表示：

x⁽ⁱ⁾ : 第 i 个输入变量，也称为输入特征

y⁽ⁱ⁾ : 第 i 个输入变量，即我们希望预测的内容

(x⁽ⁱ⁾, y⁽ⁱ⁾) ; i = 1,...,m : 表示一个训练集

X : 输入值空间； Y ： 输出值空间

模型的表达：

对于监督学习来说，就是给定一个训练集，输出一个函数 h:X --> Y，使函数 h(x) 能够预测对应的 y 值。

函数 h （由于历史原因）叫做 hypothesis

 回归问题：当输出 y 是连续值时，我们称之为回归问题，如根据房屋面积预测房价

 分类问题：当输出 y 是离散值时，我们称之为分类问题，如给定面积预测房子是house还是apartment

---

损失函数(cost function)

cost function: 用来测量 hypothesis 函数的准确度的函数

损失函数又叫平方差函数

我们要找到合适的 θ₀ 和 θ₁ ，让 J(θ₀, θ₁) 的值最小

以线性函数 h_θ (x) = θ₀  + θ₁x为例，假设 θ₀ = 0，数据集为(1, 1), (2, 2), (3, 3),

当 θ₁ 为 1 时， cost function 为0为最佳情况，如下图

 

当 θ₁ 为1 时， cost function 为 0.58

继续计算 θ₁  的其他值，我们可以得到下图

我们的目的是最小化 cost function ，  θ₁ 为1时，cost function 最小

当 θ₀ 和 θ₁  都不为0时， 可以用等高线来表示 cost function，每条线上的 J(θ₀, θ₁) 值都相等

θ₀ = 800，  θ₁ = -0.15

θ₀ = 360，  θ₁ = 0， J(θ₀, θ₁) 的值更接近等高线的中心， J(θ₀, θ₁)的值更小了

θ₀ = 250，  θ₁ = 0.12， J(θ₀, θ₁) 的值最小，在内层圆形的中心

---