zoukankan      html  css  js  c++  java
  • 如何在google colab加载kaggle数据

    参考https://medium.com/@yvettewu.dw/tutorial-kaggle-api-google-colaboratory-1a054a382de0

    从本地上传到colab上十分慢,可以在colab下直接配置kaggle API方便下载。

    1. 首先要有kaggle账号,然后在My Account下找到Create New API Token。这个会下载一个json文件到本地机器上,打开json文件的形式应该如下所示:

      {“username”:”YOUR-USER-NAME”,”key”:”SOMETHING-VERY-LONG”}
      
    2. 接着在colab中创建一个文件,当前文件路径为/content,运行!pip install kaggle。这个文件上直接可以运行的是python语法,要运行命令行只需在命令前加上!,比如!ls, !pwd

    3. 然后依次运行下面命令,最好一个cell一条命令跑:

      第一个cell运行:!mkdir .kaggle
      第二个cell运行:
      import json
      

    token = {“username”:”YOUR-USER-NAME”,”key”:”SOMETHING-VERY-LONG”}
    with open('/content/.kaggle/kaggle.json', 'w') as file:
    json.dump(token, file)
    第三个cell运行:
    !chmod 600 /content/.kaggle/kaggle.json
    第四个cell运行:
    !cp /content/.kaggle/kaggle.json ~/.kaggle/kaggle.json
    第五个cell运行:
    !kaggle config set -n path -v /content
    ```

    1. 下载数据演示:我想下载dogs-vs-cats这个数据集。 需要复制Download All旁边的API.然后在cell中运行命令kaggle competitions download -c dogs-vs-cats -p /content。最后的-p /content是指定文件的存储路径。值得一提的是,colab上的下载速度真的快。
  • 相关阅读:
    Go jaegerde 应用【logger+gorm+grpc+http】
    Go gRPC 调试工具
    iris和xxl-job整合
    Go Grpc部署到 k8s【端口共享】
    rocketmq事务 go 采用rocketmq-client-go的实现
    Go Grpc部署到 k8s【负载均衡】
    ubuntu18安装Kubernetes 1.20.5
    k8s Python API
    go nacos服务发现
    k8s集群日志收集ELK和graylog
  • 原文地址:https://www.cnblogs.com/shayue/p/ru-he-shi-yonggoogle-colab-jia-zaikaggle-shu-ju.html
Copyright © 2011-2022 走看看