权重衰退

导致过拟合，影响模型泛化的因素：

1. 可调整参数的数量，当可调整参数的数量（自由度）很大时，模型往往容易过拟合。
2. 参数采用的值，当权重的取值范围较大时，模型可能更容易过拟合。
3. 训练样本的数量。即使模型很简单避免了上面条件1的可能性，但是在训练样本极少的情况下也很容易造成过拟合现象。而过拟合一个数据量极大的数据集则需要一个非常灵活的模型。

权重衰减

(L2)正则化的目的就是为了让权重衰减到更小的值，也就是解决上面的第二个因素。它在一定程度上可以减少模型过拟合的问题，所以权重衰减也叫(L2)正则化。

多项式拟合带来的困惑

在多项式拟合中我们可以通过调整拟合多项式的阶数来限制模型的容量，也就是调整上面因素1的方法来解决问题，但是在实际操作中简单的丢弃特征对于这项工作来说可能显得过于僵硬，而且找到一个合适的特征数量也是一件很奢侈的事情
在训练参数化机器学习模型的时候，权重衰减也就是(L2)正则化是使用最广泛的解决过拟合的技术之一。这项技术是基于一个基本直觉，即在所有函数(f)中，函数(f=0)（所有输入都得到0值）在某种意义上是最简单的，我们可以通过函数与零的距离来衡量函数的复杂度。但是我们应该如何精确的测量一个函数和零之间的距离呢？没有一个正确的答案。事实上，整个数学分支，包括函数分析和巴拿赫空间理论，但是致力于解答这个问题。

一种比较简单的方法是通过线性函数(f(mathbf{x}) = mathbf{w}^ op mathbf{x})中的权重向量的某个范数来衡量其复杂性，例如(|mathbf{w}|^2_2)。要保证权重向量比较小，最常用方法是将其范数作为惩罚项加到最小化损失的问题中。将原来的训练目标最小化训练标签上的预测损失调整为最小化训练标签上的预测损失和惩罚项之和。现在如果将我们的权重向量增长的太大，我们学习算法可能会更集中于最小化权重范数(|mathbf{w}|^2_2)。这就是我们想要的。在线性回归的例子中。我们的损失函数如下：

[L(mathbf{w}, b) = frac{1}{n}sum_{i=1}^n frac{1}{2}left(mathbf{w}^ op mathbf{x}^{(i)} + b - y^{(i)} ight)^2. ]

为了可以调节惩罚权重的影响大小，我们在这里加入了一个正则化常数(lambda)来描述这种权衡，这是一个非负超参数，我们使用验证数据拟合：

[L(mathbf{w}, b) + frac{lambda}{2} |mathbf{w}|^2_2, ]

当(lambda=0)的时候，我们相当于恢复了原来的损失函数。对于(lambda>0)，我们限制(|mathbf{w}|^2_2)的大小

此外，你可能会问为什么我们首先使用(L_2)范数，而不是(L_1)范数。事实上，这些选择在整个统计领域中都是有效的和受欢迎的。(L_2)正则化线性模型构成经典的岭回归（ridge regression）算法，(L_1)正则化线性回归是统计学中类似的基本模型，通常被称为套索回归（lasso regression）。

使用(L_2)范数的一个原因是它对权重向量的大分量施加了巨大的惩罚。这使得我们的学习算法偏向于在大量特征上均匀分布权重的模型。在实践中，这可能使它们对单个变量中的观测误差更为鲁棒。相比之下，(L_1)惩罚会导致模型将其他权重清除为零而将权重集中在一小部分特征上。这称为特征选择（feature selection），这可能是其他场景下需要的。

使用与 :eqref:eq_linreg_batch_update 中的相同符号，(L_2)正则化回归的小批量随机梯度下降更新如下式：

[egin{aligned} mathbf{w} & leftarrow left(1- etalambda ight) mathbf{w} - frac{eta}{|mathcal{B}|} sum_{i in mathcal{B}} mathbf{x}^{(i)} left(mathbf{w}^ op mathbf{x}^{(i)} + b - y^{(i)} ight). end{aligned} ]

根据之前章节所讲的，我们根据估计值与观测值之间的差异来更新(mathbf{w})。然而，我们同时也在试图将(mathbf{w})的大小缩小到零。这就是为什么这种方法有时被称为权重衰减。我们仅考虑惩罚项，优化算法在训练的每一步衰减权重。与特征选择相比，权重衰减为我们提供了一种连续的机制来调整函数的复杂度。较小的(lambda)值对应较少约束的(mathbf{w})，而较大的(lambda)值对(mathbf{w})的约束更大。

是否对相应的偏置(b^2)进行惩罚在不同的实现中会有所不同。在神经网络的不同层中也会有所不同。通常，我们不正则化网络输出层的偏置项。

高维线性回归

我们通过一个简单的例子来说明演示权重衰减。

%matplotlib inline
import torch
from torch import nn
from d2l import torch as d2l

$$y = 0.05 + sum_{i = 1}^d 0.01 x_i + epsilon ext{ where }
epsilon sim mathcal{N}(0, 0.01^2).$$

(20)较小的训练数据，200较大的特征维度，很容易发生过拟合。

n_train, n_test, num_inputs, batch_size = 20, 100, 200, 5
true_w, true_b = torch.ones((num_inputs, 1)) * 0.01, 0.05
train_data = d2l.synthetic_data(true_w, true_b, n_train)
train_iter = d2l.load_array(train_data, batch_size)
test_data = d2l.synthetic_data(true_w, true_b, n_test)
test_iter = d2l.load_array(test_data, batch_size, is_train=False)

def init_params():
    w = torch.normal(0, 1, size=(num_inputs, 1), requires_grad=True)
    b = torch.zeros(1, requires_grad=True)
    return [w, b]

def l2_penalty(w):
    return torch.sum(w.pow(2)) / 2

def train(lambd):
    w, b = init_params()
    net, loss = lambda X: d2l.linreg(X, w, b), d2l.squared_loss
    num_epochs, lr = 100, 0.003
    animator = d2l.Animator(xlabel='epochs', ylabel='loss', yscale='log',
                            xlim=[5, num_epochs], legend=['train', 'test'])
    for epoch in range(num_epochs):
        for X, y in train_iter:
            with torch.enable_grad():
                # 增加了L2范数惩罚项，广播机制使l2_penalty(w)成为一个长度为`batch_size`的向量。
                l = loss(net(X), y) + lambd * l2_penalty(w)
            l.sum().backward()
            d2l.sgd([w, b], lr, batch_size)
        if (epoch + 1) % 5 == 0:
            animator.add(epoch + 1, (d2l.evaluate_loss(net, train_iter, loss),
                                     d2l.evaluate_loss(net, test_iter, loss)))
    print('w的L2范数是：', torch.norm(w).item())

[忽略正则化直接训练]

我们现在用lambd = 0禁用权重衰减后运行这个代码。注意，这里训练误差有了减少，但测试误差没有减少。这意味着出现了严重的过拟合。这是过拟合的一个典型例子。

train(lambd=0)

w的L2范数是： 12.022252082824707

[使用权重衰减]

下面，我们使用权重衰减来运行代码。注意，在这里训练误差增大，但测试误差减小。这正是我们期望从正则化中得到的效果。

train(lambd=3)

w的L2范数是： 0.35783883929252625

可以看到随着(lambda)的增大，(|mathbf{w}|^2)在下降。

train(lambd=10)

w的L2范数是： 0.02848632261157036

train(lambd=1)

w的L2范数是： 3.9273383617401123

train(lambd=50)

w的L2范数是： 0.008260481990873814

L2范数实际上是(|mathbf{w}|_2=sqrt{sum_{i=1}^Nx^2_i})，即元素的平方之和再开方。