监督学习：机器学习系统通过学习如何组合输入信息来对从未见过的数据做出有用的预测
机器学习的基本术语
标签：要预测的事物，即简单线性回归中的y变量。标签可以是小麦未来的价格、图片中显示的动物品种、音频剪辑的含义或任何事物。
特征：输入变量，即简单线性回归中的x变量。简单的机器学习项目可能会使用单个特征，而比较复杂的机器学习项目可能会使用数百万个特征，按这种方式指定：{x1, x2, x3, …..xn}
在垃圾邮件检测器示例中，特征可能包括：
- 电子邮件文本中的字词
- 发件人的地址
- 发送电子邮件的时段
- 电子邮件中包含“一种奇怪的把戏”这样的短语。
样本：数据的特定实例X。（我们采用粗体 x 表示它是一个矢量）
我们将样本分为以下两类：
- 有标签样本
- 无标签样本
模型：定义特征和标签之间的关系。例如，垃圾邮件检测模型可能会将某些特征与“垃圾邮件”紧密联系起来。
模型生命周期的两个阶段：
- 训练表示创建或学习模型。也就是说，您向模型展示有标签样本，让模型逐渐学习特征与标签之间的关系。
- 推断表示将训练后的模型应用于无标签样本。也就是说，您使用训练后的模型来做出有用的预测 (y')。
回归与分类
回归模型可预测连续值。例如，回归模型做出的预测可回答如下问题：
- 加利福尼亚州一栋房产的价值是多少？
- 用户点击此广告的概率是多少？
分类模型可预测离散值。例如，分类模型做出的预测可回答如下问题：
- 某个指定电子邮件是垃圾邮件还是非垃圾邮件？
- 这是一张狗、猫还是仓鼠图片？
线性回归
鸣叫声与温度之间的关系，如下所示： y = mx + b
其中：
- y指的是温度（以摄氏度表示），即我们试图预测的值。
- m指的是直线的斜率。
- x指的是每分钟的鸣叫声次数，即输入特征的值。
- b指的是 y 轴截距。
按照机器学习的惯例，您需要写一个存在细微差别的模型方程式：y′ = b + w1x1
其中：
- y′指的是预测标签（理想输出值）。
- b指的是偏差（y 轴截距）。而在一些机器学习文档中，它称为 w0
- w1指的是特征 1 的权重。权重与上文中用 m表示的“斜率”的概念相同。
- x1指的是特征（已知输入项）。
要根据新的每分钟的鸣叫声值 x1推断（预测）温度 y′，只需将 x1值代入此模型即可。
下标（例如 w1和 x1）预示着可以用多个特征来表示更复杂的模型。例如，具有三个特征的模型可以采用以下方程式：y′ = b + w1x1 + w2x2 + w3x3
训练与损失
训练模型表示通过有标签样本来学习（确定）所有权重和偏差的理想值。
在监督式学习中，机器学习算法通过以下方式构建模型：检查多个样本并尝试找出可最大限度地减少损失的模型；这一过程称为经验风险最小化。
平方损失：一种常见的损失函数
接下来我们要看的线性回归模型使用的是一种称为平方损失（又称为 L2 损失）的损失函数，单个样本的平方损失如下：(y - y')2
均方误差 (MSE) 指的是每个样本的平均平方损失。要计算 MSE，请求出各个样本的所有平方损失之和，然后除以样本数量：MSE =1/N∑(x,y)∈D(y−prediction(x))2
其中：
- (x,y)指的是样本，其中
- x指的是模型进行预测时使用的特征集（例如，温度、年龄和交配成功率）。
- y指的是样本的标签（例如，每分钟的鸣叫次数）。
- prediction(x)指的是权重和偏差与特征集 x结合的函数。
- D指的是包含多个有标签样本（即 (x,y)）的数据集。
- N指的是 D中的样本数量。
虽然 MSE 常用于机器学习，但它既不是唯一实用的损失函数，也不是适用于所有情形的最佳损失函数。