AUTOGRAD: 自动分化（pytorch官网60分钟闪电战第二节）

import torch

文章目录

• 一、Tensor
• 二、Gradients

一、Tensor

该节使用了跟踪张量，当对x进行设置requires_grad=True，那么后续对x的操作都要转换为含x的公式，这样就体现了跟踪这一含义。

# 创建一个张量并设置requires_grad=True为跟踪张量
x = torch.ones(2, 2, requires_grad=True)
print(x)
# 用户自己创建的没有grad_fn
print(x.grad_fn)
# 进行张量运算
y = x + 2
# y是由于操作而创建的，因此具有grad_fn
print(y)
print(y.grad_fn)
# 进行更多操作 y
z = y * y * 3
out = z.mean()

print(z, out)

# requires_grad 就地更改现有Tensor的标志。输入标志默认为False
a = torch.ones(2, 2)
print(a)
print(a.requires_grad)
a.requires_grad_(True)
print(a.requires_grad)
# 对应位相承，和torch.mul相同，不是矩阵相乘，矩阵相乘是torch.mm
b = a * a
print(b)
b = b.sum()
print(b)
print(b.grad_fn)

二、Gradients

# 1.创建一个张量并设置requires_grad=True为跟踪张量
x = torch.ones(2, 2, requires_grad=True)
y = x + 2
z = y * y * 3
out = z.mean()
# print(out)
# 完成计算后，可以调用.backward()并自动计算所有梯度
out.backward()
# 该张量的梯度将累加到.grad属性中，结果应该是z=3(x+2)^2中的x求偏导，最后除以张量大小4，具体过程可参考pytorch官网介绍
# print(x.grad)

# 2.向量雅可比积
x = torch.randn(3, requires_grad=True)
print(x)
print(x.mean())
y = x * 2
# 其实就是先对y中每一项取平方，之后累加，最后取根号
# y.data.norm() = torch.sqrt(torch.sum(torch.pow(y,2)))
i = 0
while y.data.norm() < 1000:
    y = y * 2
    i += 1

print(i)
print(y)

v = torch.tensor([2, 1, 1], dtype=torch.float)
# 如果只想要向量-雅可比积，只需将向量传递给 backward作为参数：
y.backward(v)
print(x.grad)

print(x.requires_grad)
print((x ** 2).requires_grad)
with torch.no_grad():
    print((x ** 2).requires_grad)

print(x.requires_grad)
# 要停止张量跟踪历史记录，可以调用.detach()将其从计算历史记录中分离出来，并防止跟踪将来的计算。
y = x.detach()
print(y.requires_grad)
print(x.eq(y).all())