zoukankan      html  css  js  c++  java
  • python 通过 url 下载文件包 data-downloader

    将下面代码中的your_usernameyour_password,改为自己在哨兵官网注册的用户名与密码,并复制到Python编辑器中执行。

    from data_downloader import downloader
    
    netrc = downloader.Netrc()
    netrc.add('scihub.copernicus.eu','your_username','your_password')

    执行后会在用户目录创建一个.netrc文件,当下载需要帐号密码的时候,会读取此文件。

    如果账号或密码输入错误,执行以下代码进行更新:

    netrc.add('scihub.copernicus.eu','your_username','your_password',overwrite=True)

    一个个下载文件

    1. 可以通过改变folder_outurl_file路径,来改变文件下载目录与包含url的文件路径
    2. 本脚本会自动跳过已下载的文件,并且支持断点续传。如果下载中断,个别文件下载不完整,重新执行本脚本即可。
    urls = ["https://scihub.copernicus.eu/dhus/odata/v1/Products('b034576b-4c26-48bc-ac05-bc49e548d6f2')/$value", "https://scihub.copernicus.eu/dhus/odata/v1/Products('ef96b558-bc9d-43cb-9ebc-73cdae5f6886')/$value"]
    
    folder_out
    = 'D:PycharmProjects2021ShaoBingShujudownload_shaobingdataloadsen_1'
    downloader.download_datas(urls, folder_out)

    并行下载文件

    1. ncore   设置并行下载数  默认为机器核心数
    urls = ["https://scihub.copernicus.eu/dhus/odata/v1/Products('b034576b-4c26-48bc-ac05-bc49e548d6f2')/$value", "https://scihub.copernicus.eu/dhus/odata/v1/Products('ef96b558-bc9d-43cb-9ebc-73cdae5f6886')/$value"]
    
    folder_out = 'D:PycharmProjects2021ShaoBingShujudownload_shaobingdataloadsen_1'
    
    downloader.download_datas(urls, folder_out, ncore=2)
  • 相关阅读:
    使用terraform管理Proxmox VE资源
    Terraform Aliyun 创建ecs, kubernetes 实例
    如何在cmd中启动redis
    图片二维码解析URL
    Python爬取百度图片
    Python 爬取b站专栏图片
    python之JS逆向—破解头条抖音登录协议
    python 连接 mongodb 获取部分字段数据并换行写入txt文件
    列表套字典三者匹配对应关系
    python线程池 ThreadPoolExecutor 的用法及实战
  • 原文地址:https://www.cnblogs.com/luochunxi/p/14473494.html
Copyright © 2011-2022 走看看