点到平面距离：
梯度下降法：
简介：求解无约束最优化问题的经典方法，机器学习和深度学习中应用最广泛的模型求解算法。
定义：如果实值函数g(w)在a处可微且有定义，那么函数g(w)在a处沿着梯度相反的方向-▽g(a)下降最快
优化问题：
更新参数：
随机梯度下降法：
在机器学习中，优化目标和梯度具有特定结构：
更新参数公式：
随机梯度下降法绘制出来的图像是振动的，需要调整学习率来减小振幅，最终让它趋近于0：
最大似然估计：
介绍：一种求解概率模型的参数方法。
概念：
分类：
介绍：分类是另一种典型的有监督学习问题。标签（模型预测值）y为离散值
做分类（附图示）：
线性可分训练集：
感知机：找到一条直线，将两类数据分开
支持向量机：找到一条直线，不仅将两类数据正确分类，还使得数据离直线尽量远。
逻辑回归：找到一条直线使得观察到训练集的“可能性”最大。数据离直线越远越接近于1，反之则趋近于0
训练集的矩阵表示（第二讲回顾）：
算法详细介绍：
感知机：
划出一条直线，将正负分开。当出现划分错误情况（如正值在左/负值在右），就需要进行优化，优化目标简单的说就是让划分错误的那个点尽可能地离直线近，即距离越小。
优化目标介绍：
优化目标就是L(w)函数。
感知器算法——SGD：
支持向量机：
间隔最大化。
样本损失函数：
优化目标：
非线性：核技巧
映射trick：将数据点从二维空间映射到三维空间中，使得数据线性可分
图示：
原本映射到高维会出现维度灾难问题，使得计算量复杂化。而支持向量机的好处在于映射到高维的时候，计算量仍是低维空间的计算量。
逻辑回归：
赋予样本概率解释
似然函数与负对数似然函数：
优化目标就是NLL(w)最小值。
三种模型的损失函数对比：
感知机是蓝色线，支持向量机是绿色线，逻辑回归是红色线
分类问题的评价指标：
负例0可变更为-1
SKlearn分类模块介绍：
