autugrad包是PyTorch中所有神经网络的核心,为tensors上的所有操作提供自动微分。它是一个由运行定义的框架,运行中定义后向传播,且每次迭代都可以不同。
1、TENSOR
torch.Tensor 是包的核心类。属性 .requires_grad = True,则会开始跟踪针对 tensor 的所有操作。完成计算后,调用 .backward() 来自动计算所有梯度。该张量的梯度将累积到 .grad 属性中。
要停止 tensor 历史记录的跟踪,调用 .detach(),它将与计算历史记录分离,并防止将来的计算被跟踪。
要停止跟踪历史记录(和使用内存),还可以将代码块使用 with torch.no_grad(): 包装起来。
注意:模型在训练阶段具有 requires_grad = True 的可训练参数有利于调参,但在评估阶段则不需要梯度。
2、Function
Tensor 和 Function 互相连接并构建一个非循环图,保存整个完整的计算过程的历史信息。每个张量都有一个 .grad_fn 属性保存着创建了张量的 Function 的引用,(如果用户自己创建张量,则grad_fn = None )。
想计算导数,调用 Tensor.backward()。
如果 Tensor 是标量(即它包含一个元素数据),则不需要指定任何参数backward();否则需要指定一个gradient 参数来指定张量的形状。
计算梯度:
原理:
向backward()传向量参数: