zoukankan      html  css  js  c++  java
  • PyTorch-->autograd(自动微分)

    autugrad包是PyTorch中所有神经网络的核心,为tensors上的所有操作提供自动微分。它是一个由运行定义的框架,运行中定义后向传播,且每次迭代都可以不同。

    1、TENSOR

    torch.Tensor 是包的核心类。属性 .requires_grad  = True,则会开始跟踪针对 tensor 的所有操作。完成计算后,调用 .backward() 来自动计算所有梯度。该张量的梯度将累积到 .grad 属性中。

    要停止 tensor 历史记录的跟踪,调用 .detach(),它将与计算历史记录分离,并防止将来的计算被跟踪。

    要停止跟踪历史记录(和使用内存),还可以将代码块使用 with torch.no_grad(): 包装起来。

    注意:模型在训练阶段具有 requires_grad = True 的可训练参数有利于调参,但在评估阶段则不需要梯度。

    2、Function

    Tensor 和 Function 互相连接并构建一个非循环图,保存整个完整的计算过程的历史信息。每个张量都有一个 .grad_fn 属性保存着创建了张量的 Function 的引用,(如果用户自己创建张量,则grad_fn = None )。

    想计算导数,调用 Tensor.backward()。

    如果 Tensor 是标量(即它包含一个元素数据),则不需要指定任何参数backward();否则需要指定一个gradient 参数来指定张量的形状。

    计算梯度:

     

     原理:

    向backward()传向量参数:

     

     

    To see I can not see, to know I do not know.
  • 相关阅读:
    Linux 中 /proc/meminfo 的含义
    Linux OOM-killer(内存不足时kill高内存进程的策略)
    java反射
    IDEA 创建Web项目
    centos7 源码安装php7
    linux 基本原则和常用命令
    ls file less
    centos7安装nginx1.10.1
    mysqlworkbench访问远程服务器
    redis 简单的注册
  • 原文地址:https://www.cnblogs.com/aluomengmengda/p/13847163.html
Copyright © 2011-2022 走看看