zoukankan      html  css  js  c++  java
  • Pytorch快速入门及在线体验

    本文搭配了Pytorch在线环境,可以直接在线体验。

    Pytorch是Facebook 的 AI 研究团队发布了一个基于 Python的科学计算包,旨在服务两类场合: 1.替代numpy发挥GPU潜能 ;2. 一个提供了高度灵活性和效率的深度学习实验性平台。

    在线体验练习地址:Pytorch快速上手/在线实验室

    1.Pytorch简介

    Pytorch是Facebook 的 AI 研究团队发布了一个基于 Python的科学计算包,旨在服务两类场合:

    • 替代numpy发挥GPU潜能(在线环境暂时不支持GPU)
    • 一个提供了高度灵活性和效率的深度学习实验性平台

    2.Pytorch特点及优势

    2.1 Pytorch特点

    • PyTorch 提供了运行在 GPU/CPU 之上、基础的张量操作库;
    • 可以内置的神经网络库;
    • 提供模型训练功能;
    • 支持共享内存的多进程并发(multiprocessing )库等;

    2.2 Pytorch特点

    处于机器学习第一大语言 Python 的生态圈之中,使得开发者能使用广大的 Python 库和软件;如 NumPy、SciPy 和 Cython(为了速度把 Python 编译成 C 语言);

    (最大优势)改进现有的神经网络,提供了更快速的方法——不需要从头重新构建整个网络,这是由于 PyTorch 采用了动态计算图(dynamic computational graph)结构,而不是大多数开源框架(TensorFlow、Caffe、CNTK、Theano 等)采用的静态计算图;

    提供工具包,如torch 、torch.nn、torch.optim等;

    3.Pytorch常用工具包

    • torch :类似 NumPy 的张量库,强 GPU 支持 ;
    • torch.autograd :基于 tape 的自动区别库,支持 torch 之中的所有可区分张量运行;
    • torch.nn :为最大化灵活性未涉及、与 autograd 深度整合的神经网络库;
    • torch.optim:与 torch.nn 一起使用的优化包,包含 SGD、RMSProp、LBFGS、Adam 等标准优化方式;
    • torch.multiprocessing: python 多进程并发,进程之间 torch Tensors 的内存共享;
    • torch.utils:数据载入器。具有训练器和其他便利功能;
    • torch.legacy(.nn/.optim) :处于向后兼容性考虑,从 Torch 移植来的 legacy 代码;

    4.tensor的创建

    • 导入pytorch的包 import torch
    • jupyter notebook
    import torch
    #创建一个5*3的随机矩阵并显示它(Shift+Enter)
    x=torch.rand(5,3)
    x
    

    5.tensor的运算

    y=torch.ones(5,3)
    #创建一个5*3的全是1矩阵并显示它
    y
    #计算两个矩阵相加(注意尺寸要一模一样)
    z=x+y
    z
    #矩阵乘法,矩阵转置
    q=x.mm(y.t())
    

    所有Numpy上面关于ndarray的运算全部可以应用于tensor

    有关tensor的运算参考 http://pytorch.org/docs/master/tensors.html

    • 从numpy到tensor的转换:torch.from_numpy(a)
    • 从tensor到numpy的转换:a.numpy()
    • tensor与numpy的最大不同:tensor可以在GPU上运算
    • 转到gpu上运算(x.cpu()转成cpu)
    if torch.cuda.is_available():
     x=x.cuda()
     y=y.cuda()
     print(x+y)
    

    6.Numpy桥

    将Torch的Tensor和numpy的array相互转换。注意Torch的Tensor和numpy的array会共享他们的存储空间,修改一个会导致另外的一个也被修改。

    # 此处演示tensor和numpy数据结构的相互转换
    a = torch.ones(5)
    b = a.numpy()
    
    # 此处演示当修改numpy数组之后,与之相关联的tensor也会相应的被修改
    a.add_(1)
    print(a)
    print(b)
    
    # 将numpy的Array转换为torch的Tensor
    import numpy as np
    a = np.ones(5)
    b = torch.from_numpy(a)
    np.add(a, 1, out=a)
    print(a)
    print(b)
    
    # 另外除了CharTensor之外,所有的tensor都可以在CPU运算和GPU预算之间相互转换
    # 使用CUDA函数来将Tensor移动到GPU上
    # 当CUDA可用时会进行GPU的运算
    if torch.cuda.is_available():
        x = x.cuda()
        y = y.cuda()
        x + y
    

    7.动态计算图(Dynamic Computation Graph)

    • 是pytorch的最主要特征
    • 让计算模型更灵活,复杂
    • 让反向传播算法随时进行

    7.1自动微分变量

    gradient梯度,传播的就是梯度

    定义一个自动微分变量

    from torch.autograd  import Variable
    #Variable:自动微分变量
    x=Variable(torch.ones(2,2),requires_grad=True)
    #把一个2*2的张量转变成微分的变量(添加节点,构造计算图)
    x
    
    y=x+2
    y.creator
    #y的父节点
    
    z=torch.mean(y*y)
    z.data
    

    与tensor不同之处:记录下所有的计算路径,在内存中构造计算图

    7.2多层运算

    z=m((x+2)*(x+2))

    此处输入图片的描述

    一个多层神经网络

    计算梯度:求导

    z.backward()
    #z对x的偏导
    #只有叶节点可以算grad。只有x有grad信息,因为它没有父节点
    print(z.grad)
    print(y.grad)
    print(x.grad)
    

    7.3更疯狂的函数依赖

    s=Variable(torch.FloatTensor([[0.01,0.02]]),requires_grad=True)
    x=Variable(torch.ones(2,2),requires_grad=True)
    for i in range(10):
      s=s.mm(x)
      #赋值的操作会多一个新节点出来
    z=torch.mean(s)
    
    #backward()求导计算
    z.backward()
    print(x.grad)
    print(s.grad)
    

    8.神经网络

    用 torch.nn 包可以进行神经网络的构建,点击实验楼开源软件库的教程:Pytorch快速上手/在线实验室即可马上查看并在线体验了;

    • 你也可以在线体验其他开源软件:实验楼软件库
    • 如果你对任何开源软件感兴趣,欢迎在下面留言,也欢迎提交你熟悉的开源软件。提交方法:软件库使用方法
  • 相关阅读:
    Dedecms(织梦)文章内容页和图片集内容页,调用缩略图的方法
    如何修改织梦dedecms文章标题的最大长度
    织梦自定义表单后台管理增加全选功能,批量删除垃圾留言信息
    自定义表单SQL命令行批量删除垃圾留言
    织梦后台卡死的原因分析及开关功能解决办法
    织梦网站迁移的几种方法
    Dedecms(织梦)文章内容页和图片集内容页,调用缩略图的方法
    织梦CMS被挂马特征汇总
    DedeCMS模板中用彩色tag做彩色关键词
    HDU6038
  • 原文地址:https://www.cnblogs.com/shiyanlou/p/7676573.html
Copyright © 2011-2022 走看看