zoukankan      html  css  js  c++  java
  • python爬虫常用之Scrapy 简述

    一、安装

        pip install scrapy. 如果提示需要什么包就装什么包

        有的包pip安装不起,需要自己下载whl文件进行安装.

    二、基本的爬虫流程

         通用爬虫有如下几步:

            构造url -->> 请求,获取页面内容  -->> 分析页面内容(解析) -->> 保存结果     

    三、scrapy的爬虫流程

        scrapy的流程与普通爬虫相同,有url作为输入--start_urls;

      有请求--Requests,通常不需要自己构建,需要特殊参数时可使用settings配置,或者编写中间件;

           有分析--parse方法,直接传入返回的response对象即可,内置的解析方法多种多样,也可以直接import解析库进行解析;

           有储存--使用item在爬虫中保存爬取到的对象,在pipline里进行持久化,也可以直接在代码中写文件或者使用"-o"参数...

    四、总结

          scrapy的最大优点就是通用,你的大部分爬虫都可以scrapy去实现去操作,省去了很多构造请求和框架的时间.

          scrapy的最大缺点也来源于通用,使用的时候总觉得和我需要的有出入,所以要自己去写中间件,自己去适配流程.

       

  • 相关阅读:
    Mysql卸载
    Mysql安装
    Mysql升级、免安装版MYSQL安装与卸载
    Mysql导入csv文件
    Mysql导入sql文件
    日期月份是英文转成数字——oracle
    两表关联更新数据——oracle
    oracle获取排序第一的数据
    case...when...和decode——oracle
    oracle问题:char类型数据查询不到
  • 原文地址:https://www.cnblogs.com/masako/p/8066683.html
Copyright © 2011-2022 走看看