局部加权回归-新的回归思路，为每个样本订制个性化的模型

局部加权回归

本篇中考虑的方法类似于最近邻值的输出的线性组合。但我们没有那么残酷，不会只关注 K 个最近邻值而消除所有其他值的影响。这是一种平滑的变化：我们根据和被预测的实例之间的距离来逐渐减少实例对预测的影响，而不是选择一组 K 个胜者。
通过加权得到的整体相关性可能会相当复杂。当模型需要在不同的点进行评估时，线性回归仍然可以使用，只不过该评价点附近的评估点被认为比远处的“更重要”。这里遇到了一个非常普遍的原则：在（自然的或自动的）学习中，相似的实例通常被认为比那些相差甚远的更相关。

局部加权回归（Locally Weighted Regression）是一种懒惰的基于存储的技术，这意味着所有点和评估值都被存储了，而只有查询特定的某点的时候才会基于请求建立特定的模型。

为了预测一个点 q（称为查询点）的评估结果，我们对训练点应用线性回归。为了确保在确定回归参数过程中的局部性（相近的点更相关），给每个样本点分配一个权重，这个权重会随着与查询点距离的增加而减小。值得注意的是，在神经网络业内，术语“权重”一般情况下指由训练算法计算得到的模型参数，然而在这种情况下，权重度量每个训练样本的重要性。

为了避免混淆，我们用术语重要性和符号 $s_i$（下面所用的对角矩阵记为 $S$）来表示这一特定用法。
加权后的最小二乘拟合的目标是最小化下面的加权误差：

样本点不同的权重分布对应于使用不同弹性常数，为了最小化上式 ，可以令其关于 w 的梯度等于 0，得到如下
解：

根据储存样本到查询点的距离，可以使用以下函数来描述它们的重要性：