zoukankan      html  css  js  c++  java
  • PyTorch之torch.utils.data.DataLoader解读

    torch.utils.data.DataLoader 参数介绍:

    1、dataset,这个就是PyTorch已有的数据读取接口(比如torchvision.datasets.ImageFolder)或者自定义的数据接口的输出,该输出要么是torch.utils.data.Dataset类的对象,要么是继承自torch.utils.data.Dataset类的自定义类的对象。

    2、batch_size,根据具体情况设置即可。

    3、shuffle,一般在训练数据中会采用。

    4、collate_fn,是用来处理不同情况下的输入dataset的封装,一般采用默认即可,除非你自定义的数据读取输出非常少见。

    5、batch_sampler,从注释可以看出,其和batch_size、shuffle等参数是互斥的,一般采用默认。

    6、sampler,从代码可以看出,其和shuffle是互斥的,一般默认即可。

    7、num_workers,从注释可以看出这个参数必须大于等于0,0的话表示数据导入在主进程中进行,其他大于0的数表示通过多个进程来导入数据,可以加快数据导入速度。

    8、pin_memory,注释写得很清楚了: pin_memory (bool, optional): If True, the data loader will copy tensors into CUDA pinned memory before returning them. 也就是一个数据拷贝的问题。

    9、timeout,是用来设置数据读取的超时时间的,但超过这个时间还没读取到数据的话就会报错。 

    例如:

    参考:

    https://github.com/pytorch/pytorch/blob/master/torch/utils/data/dataloader.py

    https://blog.csdn.net/u014380165/article/details/79058479

  • 相关阅读:
    linux cd命令的重要用法:cd -,cd ~
    linux ls命令的重要用法:按照文件大小排序和按照时间排序
    Linux中默认的shell如何切换为其他类型的shell
    centos 7网卡配置文件详解(ifcfg-ens33)
    linux分区规划
    final关键字
    分布式事务
    读写分离-读仍走主库的问题
    Dockerfile指令
    Docker命令总结【第一本docker书】
  • 原文地址:https://www.cnblogs.com/sbj123456789/p/9237428.html
Copyright © 2011-2022 走看看