zoukankan      html  css  js  c++  java
  • python批量爬取文档

      最近项目需要将批量链接中的pdf文档爬下来处理,根据以下步骤完成了任务:

    1. 将批量下载链接copy到text中,每行1个链接;
    2. 再读txt文档构造url_list列表,利用readlines返回以行为单位的列表;
    3. 利用str的rstrip方法,删除 string 字符串末尾的指定字符(默认为空格);
    4. 调用getFile函数:
      1. 通过指定分隔符‘/’对字符串进行切片,取list的最后一列即链接文档名作为下载文件名。
      2. 调用urlopen,调用read、write方法完成下载

      参考资料:

    • https://blog.csdn.net/zhrq95/article/details/79300411
    • https://blog.csdn.net/yllifesong/article/details/81044619
     1 import urllib.request
     2 import os
     3 
     4 def getFile(url):
     5     file_name = url.split('/')[-1]
     6     u = urllib.request.urlopen(url)
     7     f = open(file_name, 'wb')
     8     block_sz = 8192
     9     while True:
    10         buffer = u.read(block_sz)
    11         if not buffer:
    12             break
    13         f.write(buffer)
    14     f.close()
    15     print("Sucessful to download" + " " + file_name)
    16 
    17 os.chdir(os.path.join(os.getcwd(), 'pdf_download'))
    18 
    19 f=open('E:/VGID_Text/url_list.txt')
    20 url_list=f.readlines()
    21 url_lst=[]
    22 for line in url_list:
    23     line=line.rstrip("
    ")
    24     getFile(line)
  • 相关阅读:
    jsp自定义标签
    用javascript获取屏幕高度和宽度等信息
    解决document.location.href下载文件时中文乱码
    centos7下的ifconfig命令未安装
    vmstat命令
    FPM打包工具使用
    nmap的使用
    检测硬件RDMA卡是否存在
    RDMA卡的检测方法
    硬件RDMA的驱动配置和测试
  • 原文地址:https://www.cnblogs.com/wind-chaser/p/10514449.html
Copyright © 2011-2022 走看看