zoukankan      html  css  js  c++  java
  • 深度之眼PyTorch训练营第二期 ---5、Dataloader与Dataset 以及 transforms与normalize

    一、人民币二分类

    描述:输入人民币,通过模型判定类别并输出。

    • 数据:四个子模块

        数据收集 -> img,label 原始数据和标签
        数据划分 -> train训练集 valid验证集 test测试集
        数据读取 -> DataLoader ->(1)Sampler(生成index) (2)Dataset(读取Img,Label)
        数据预处理 -> transforms

    1、DataLoader

    •   torch.utils.data.DataLoader  功能:构建可迭代的数据装载器
      •   dataset:Dataset类,决定数据从哪里读取及如何读取
      • batchsize:批大小
      •        num_works:是否多进程读取数据
      •        shuffle:每个epoch是否乱序
      •        drop_last:当样本数不能被batchsize整除时,是否舍弃最后一批数据
    • Epoch、Iteration、Batchsize关系

        Epoch:所有训练样本都已输入到模型中,称为一个epoch

        Iteration:一批样本输入到模型中,称之为一个Iteration

        Batchsize:批大小,决定一个Epoch有多少个iteration

        例如:样本总数:80 batchsize:8 

          1    epoch = 10  iteration  一次iteration输入8个样本,所以一次的epoch=8

            样本总数:87 batchsize:8

          if drop_last = true  1 epoch = 10  iteration

                          else drop_last = false 1  epoch = 11 iteration

    2、Dataset

    • torch.utils.data.Dataset   功能:Dataset抽象类,所有自定义的Dataset需要继承它,并且复写
      •   __getitem__()  :接收一个索引,返回一个样本及标签

    3、数据读取:

    思考:读哪些数据?从哪里读数据?怎么读数据?

    二、Dataloader与Dataset

    三、transform运行机制

    torchvision:计算机视觉工具包

    • torchvision.transforms:常用的图像预处理方法
    • torchvision.datasets:常用数据集的dataset实现,MNIST,CIFAR-10,ImageNet
    • torchvision.model:常用的模型预训练,AlexNet,VGG,ResNet,GoogLeNet等

    1、torchvision.transforms  ---  提高泛化能力

    • l  数据中心化
    • l  数据标准化
    • l  缩放
    • l  剪裁
    • l  旋转
    • l  翻转
    • l  填充
    • l  噪声添加
    • l  灰度变换
    • l  线性变换
    • l  仿射变换
    • l  亮度、饱和度及对比度变换

    四、数据标准化—transforms.normalize

    transforms.normalize 功能:逐channel的对图像进行标准化

        output = (input - mean)/ std;

      •   mean:各通道的均值
      •   std:各通道的标准差
      •   inplace:是否原地操作
  • 相关阅读:
    无线网络的切换bat
    远程桌面远程服务器拷贝失灵 解决方法
    不能将 Null 值赋给类型为 (不可为 null 的值类型)的成员。解决方法
    应该改变面向对象的说法
    Windows 2012 装 Remote Desktop Organizer 无法连接到其他远程服务器
    JavaScript 运行时错误: 无法获取未定义或 null 一种解决方案
    ssd硬盘u盘装win7扩展文件时0x80070570错误
    swfit-小知识Demo
    ios-简单算法
    swfit-扩展语法
  • 原文地址:https://www.cnblogs.com/cola-1998/p/11715284.html
Copyright © 2011-2022 走看看