zoukankan      html  css  js  c++  java
  • Pytorch中的张量复制

    pytorch提供了clone、detach、copy_和new_tensor等多种张量的复制操作,尤其前两者在深度学习的网络架构中经常被使用,本文旨在对比这些操作的差别。

    1. clone

    返回一个和源张量同shape、dtype和device的张量,与源张量不共享数据内存,但提供梯度的回溯。

    clone后的返回值是个中间variable,因此支持梯度的回溯。因此,clone操作在一定程度上可以视为是一个identity-mapping函数。

    clone作为一个中间variable,会将梯度传给源张量进行叠加。

    但若源张量的require_grad=False,而clone后的张量require_grad=True,显然此时不存在张量回溯现象,clone后的张量可以求导。

    综上论述,clone操作在不共享数据内存的同时支持梯度回溯,所以常用在神经网络中某个单元需要重复使用的场景下。

    2. detach

    detach的机制则与clone完全不同,即返回一个和源张量同shapedtypedevice的张量,与源张量共享数据内存,但不提供梯度计算,即requires_grad=False,因此脱离计算图。

    detach后的张量,即使重新定义requires_grad=True,也与源张量的梯度没有关系。

    综上论述,detach操作在共享数据内存的脱离计算图,所以常用在神经网络中仅要利用张量数值,而不需要追踪导数的场景下。

    3. clone和detach联合使用

    clone提供了非数据共享的梯度追溯功能,而detach又“舍弃”了梯度功能,因此clone和detach联合使用意味着着只做简单的数据复制,既不数据共享,也不对梯度共享,从此两个张量无关联

    置于是先clone还是先detach,其返回值一样,一般采用tensor.clone().detach()。

    4. new_tensor

    new_tensor可以将源张量中的数据复制到目标张量(数据不共享),同时提供了更细致的devicedtyperequires_grad属性控制:

    其默认参数下的操作等同于.clone().detach(),而requires_grad=True时的效果相当于.clone().detach()requires_grad_(True)。上面两种情况都推荐使用后者。

    5. copy_

    copy_同样将源张量中的数据复制到目标张量(数据不共享),其devicedtyperequires_grad一般都保留目标张量的设定,仅仅进行数据复制,同时其支持broadcast操作。

    具体试验参考:

    【Pytorch】对比clone、detach以及copy_等张量复制操作

    Pytorch张量(Tensor)复制

  • 相关阅读:
    Swing中的并发使用SwingWorker线程模式
    使用批处理打二次开发包
    【转】批处理删除SVN文件
    EAS BOS ORMapping的研究
    EAS BOS ORMapping 元数据解析示例
    ORMapping学习
    EAS BOS数据查询默认会查分录的分析
    【Oracle】常用查询
    KDTable公式解析提示信息设置
    【转】Swing多线程编程
  • 原文地址:https://www.cnblogs.com/jiangkejie/p/13356863.html
Copyright © 2011-2022 走看看