zoukankan      html  css  js  c++  java
  • python 通过 url 下载文件包 data-downloader

    将下面代码中的your_usernameyour_password,改为自己在哨兵官网注册的用户名与密码,并复制到Python编辑器中执行。

    from data_downloader import downloader
    
    netrc = downloader.Netrc()
    netrc.add('scihub.copernicus.eu','your_username','your_password')

    执行后会在用户目录创建一个.netrc文件,当下载需要帐号密码的时候,会读取此文件。

    如果账号或密码输入错误,执行以下代码进行更新:

    netrc.add('scihub.copernicus.eu','your_username','your_password',overwrite=True)

    一个个下载文件

    1. 可以通过改变folder_outurl_file路径,来改变文件下载目录与包含url的文件路径
    2. 本脚本会自动跳过已下载的文件,并且支持断点续传。如果下载中断,个别文件下载不完整,重新执行本脚本即可。
    urls = ["https://scihub.copernicus.eu/dhus/odata/v1/Products('b034576b-4c26-48bc-ac05-bc49e548d6f2')/$value", "https://scihub.copernicus.eu/dhus/odata/v1/Products('ef96b558-bc9d-43cb-9ebc-73cdae5f6886')/$value"]
    
    folder_out
    = 'D:PycharmProjects2021ShaoBingShujudownload_shaobingdataloadsen_1'
    downloader.download_datas(urls, folder_out)

    并行下载文件

    1. ncore   设置并行下载数  默认为机器核心数
    urls = ["https://scihub.copernicus.eu/dhus/odata/v1/Products('b034576b-4c26-48bc-ac05-bc49e548d6f2')/$value", "https://scihub.copernicus.eu/dhus/odata/v1/Products('ef96b558-bc9d-43cb-9ebc-73cdae5f6886')/$value"]
    
    folder_out = 'D:PycharmProjects2021ShaoBingShujudownload_shaobingdataloadsen_1'
    
    downloader.download_datas(urls, folder_out, ncore=2)
  • 相关阅读:
    mongoGridFS
    ModelClientValidationRule同时存在多个位置解决方案
    C# 使用 SocketAsyncEventArgs 实现UdpSocket系列
    如何把握机会
    c#异步socket
    服务器×××上的MSDTC不可用解决办法
    分享.net常见的内存泄露及解决方法
    如何处理几十万条并发数据
    iphone开发,模拟器生成文件路径
    Iphone隐藏和显示TabBar的方法
  • 原文地址:https://www.cnblogs.com/luochunxi/p/14473494.html
Copyright © 2011-2022 走看看