局部加权线性回归

线性回归的一个问题可能是有可能出现欠拟合（如下图所示样本），因为它求的是具有最小均方误差的无偏估计。如果模型欠拟合将不能取得最好的预测效果。所以有些方法允许在估计中引入一些偏差，从而降低预测的均方误差。其中的一个方法是局部加权线性回归。在该算法中，我们给待预测点附近的每一个点赋予一定的权重，在这个子集上基于最小均方差来进行普通的回归。与KNN类似，这种算法每次预测均需要事先选取出对应的数据子集。该算法解出回归系数w的形式如下：

$hat{omega}=(X^TWX)^{-1}X^TWy$

其中$omega$是一个矩阵，用来给每个数据点赋予权重。

局部线性加权使用核（类似支持向量机中的核）来对附近的点赋予更高的权重。核的类型可以自由选择，最常用的核就是高斯核，高斯核对应的权重如下：

$omega(i,i)=expleft(frac{(x_i-x)^2}{-2k^2} ight)$

下图可以看到对应不同$k$值，高斯核对应的样本覆盖范围。

这样就构建了一个只含有对角元素的权重矩阵$omega$，并且点$x$与$x_i$越近，$w(i,i)$将会越大。上述公式包含一个需要用户指定的参数k，它决定了对附近的点赋予多大的权重，这也是使用局部线性加权回归时唯一需要考虑的参数，在下图中可以看到参数$k$与权重的关系。（实际应用中k可以通过K折交叉验证确定）

def lwlr(testPoint, xArr, yArr, k=1.0):
    xMat = mat(xArr); yMat = mat(yArr).T
    m = shape(xMat)[0]
    weights = mat(eye((m)))
    for j in range(m):
        diffMat = testPoint - xMat[j, :]
        weights[j, j]  = exp(diffMat * diffMat.T / (-2.0 * k ** 2.0))
    xTx = xMat.T * (weights * xMat)
    if linalg.det(xTx) == 0.0:
        print("This matrix is singular, cannot do inverse")
        return
    ws = xTx.I * (xMat.T * (weights * yMat))
    return testPoint * ws

def lwlrTest(testArr, xArr, yArr, k=1.0):
    m = shape(testArr)[0]
    yHat = zeros(m)
    for i in range(m):
        yHat[i] = lwlr(testArr[i], xArr, yArr, k)
    return yHat