zoukankan      html  css  js  c++  java
  • 【PyTorch】按照 steps 训练和保存模型

    在模型训练过程中,一个 epoch 指遍历一遍训练集,而一般的模型训练也是指定多少个 epoch,每个 epoch 结束后看看模型在验证集上的效果并保存模型。

    但在有些场景下,如半监督学习,有标记的样本很少,一个 epoch 甚至只有一个 batch 的数据,这个时候频繁查看验证集效果很耗时。

    当数据集很小时,训练多久用 epoch 表示不太合适,这个时候使用模型更新次数来表示更加合理,每多少个 steps 查看一次验证集效果并保存模型。

    我们可以通过给 DataLoader 传入一个重复采样的随机采样器 RandomSampler 来实现这个功能,其它代码和按照 epoch 训练一致

    # batch_size = 64
    # steps_to_save = 1024,每 1024 个 steps 查看验证集效果并保存模型,相当于一个 epoch 有 1024 个 steps,只是数据有重复罢了。
    trainloader = DataLoader(
        dataset,
        sampler=torch.utils.data.RandomSampler(
            dataset,
            replacement=True,
            num_samples=64*steps_to_save),
        batch_size=64,
        num_workers=4)
    
  • 相关阅读:
    Mat
    分治法-最近点对问题
    动态规划作业-最长公共子序列问题
    动态规划作业-多段图的最短路径问题
    OpenCV+VisualStudion2017配置
    R入门(二)-对象以及它们的模式和属性
    Big number
    R入门(一)
    Spring-aop
    Spring-ioc
  • 原文地址:https://www.cnblogs.com/wuliytTaotao/p/13755348.html
Copyright © 2011-2022 走看看