zoukankan      html  css  js  c++  java
  • 下载文件和图片

    下载文件和图片

    Scrapy为下载item中包含的文件(比如在爬取到产品时,同时也想保存对应的图片)提供了一个可重用的item pipelines。这些pipeline有些共同的方法和结构我们称之为media pipeline。一般来说你会使用Files Pipline或者Images Pipeline

    为什么要选择使用scrapy内置的下载文件的方法

    1. 避免重新下载最近已经下载过的数据。
    2. 可以方便的指定文件存储的路径。
    3. 可以将下载的图片转换成通用的格式。比如png或jpg。
    4. 可以方便的生产缩略图。
    5. 可以方便的检测图片的宽和高,确保他们满足最小限制。
    6. 异步下载,效率非常高。

    下载文件的File Pipeline

    当使用Files Pipline下载文件的时候,按照以下步骤来完成:

    1. 定义好一个Item,然后在这个item中定义两个属性,分别为file_urls以及filesfile_urls是用来存储需要下载的文件的url链接,需要给一个列表。
    2. 当文件下载完成后,会把文件下载的相关信息存储到itemfiles属性中。比如下载路径、下载的url和文件的效验码等。
    3. 在配置文件settings.py中配置FILES_STORE,这个配置是用来设置文件下载下来的路径。
    4. 启动pipeline:在ITEM_PIPELINES中设置scrapy.pipelines.files.FilesPipline:1

    下载图片的Images Pipline

    当使用Images Pipeline下载文件的时候,按照以下步骤来完成:

    1. 定义好一个Item,然后在这个item中定义两个属性,分别为image_urls以及imagesimage_urls是用来存储需要下载的文件的url链接,需要给一个列表。
    2. 当文件下载完成后,会把文件下载的相关信息存储到itemimages属性中。比如下载路径、下载的url和文件的效验码等。
    3. 在配置文件settings.py中配置IMAGES_STORE,这个配置是用来设置图片下载下来的路径。
    4. 启动pipeline:在ITEM_PIPELINES中设置scrapy.pipelines.images.ImagesPipline:1
  • 相关阅读:
    到底该不该熟悉掌握struts2的ONGL呢?
    struts2 request内幕 为什么在struts2用EL表达式可以取值
    struts2 权限拦截器 拦截没有登陆的请求
    tomcat context 配置 项目部署
    tomcat 设置默认编码格式
    工作记录1
    javascript 的学习笔记(第一天)
    JavaScript for...in 循环
    indexof方法区分大小写
    java 和 IntelliJ IDEA 的一些配置
  • 原文地址:https://www.cnblogs.com/colden/p/9863810.html
Copyright © 2011-2022 走看看