zoukankan      html  css  js  c++  java
  • google colab 数据复制 解压

    在 Notebook 中添加一个 Section 命名为「安装环境」。然后在这个 Section 中做一些数据复制、解压,以及安装第三方包的工作。实例代码如下:
    安装环境

    !mkdir ./data  # 在实例中创建文件夹 data
    !cp /content/drive/MyDrive/paper/Demo/data-local.zip ./data/  # data  copy
    !cd ./data && unzip data-local.zip  # 进入.data目录并解压(到本地)
    

    为什么不直接将数据集存放至 Drive 直接使用,而是要先压缩,再从 Drive 中拷贝出来解压使用?因为直接从 Drive 中读取数据是通过网络传输的,并不是从本地文件磁盘读取。如果数据文件多,那么就会发很多次网络请求,导致加载数据非常慢,进而严重影响训练速度;这也是很多小伙伴抱怨 Colab 慢的原因之一。所以我们提前压缩好数据集文件,每次训练前复制压缩文件到实例的磁盘,再进行解压,最大程度保证网络传输次数少,传输数据量小。
    作者:佘城璐
    链接:https://zhuanlan.zhihu.com/p/218133131
    来源:知乎

  • 相关阅读:
    Java中静态字段和静态方法
    Java抽象方法、抽象类以及接口
    Java单例模式
    java继承
    java构造方法
    java方法
    Java常量与变量
    Java初识
    1
    补码,反码,加减法运算,类型取值范围
  • 原文地址:https://www.cnblogs.com/ArdenWang/p/15713867.html
Copyright © 2011-2022 走看看