zoukankan      html  css  js  c++  java
  • PyTorch-->autograd(自动微分)

    autugrad包是PyTorch中所有神经网络的核心,为tensors上的所有操作提供自动微分。它是一个由运行定义的框架,运行中定义后向传播,且每次迭代都可以不同。

    1、TENSOR

    torch.Tensor 是包的核心类。属性 .requires_grad  = True,则会开始跟踪针对 tensor 的所有操作。完成计算后,调用 .backward() 来自动计算所有梯度。该张量的梯度将累积到 .grad 属性中。

    要停止 tensor 历史记录的跟踪,调用 .detach(),它将与计算历史记录分离,并防止将来的计算被跟踪。

    要停止跟踪历史记录(和使用内存),还可以将代码块使用 with torch.no_grad(): 包装起来。

    注意:模型在训练阶段具有 requires_grad = True 的可训练参数有利于调参,但在评估阶段则不需要梯度。

    2、Function

    Tensor 和 Function 互相连接并构建一个非循环图,保存整个完整的计算过程的历史信息。每个张量都有一个 .grad_fn 属性保存着创建了张量的 Function 的引用,(如果用户自己创建张量,则grad_fn = None )。

    想计算导数,调用 Tensor.backward()。

    如果 Tensor 是标量(即它包含一个元素数据),则不需要指定任何参数backward();否则需要指定一个gradient 参数来指定张量的形状。

    计算梯度:

     

     原理:

    向backward()传向量参数:

     

     

    To see I can not see, to know I do not know.
  • 相关阅读:
    cnpm镜像安装
    wxParse解析html
    C++回调函数
    QT源码分析:QTcpServer
    QT实现支持加密的Sqlite数据库引擎
    VS2013+OpenCV3.4.2编译
    Android Tcp操作
    使用Delphi开发linux应用
    QT5.10+MinGW+OpenCV3.4.2编译
    C++ ActiveX开发的问题讨论
  • 原文地址:https://www.cnblogs.com/aluomengmengda/p/13847163.html
Copyright © 2011-2022 走看看