zoukankan      html  css  js  c++  java
  • Scrapy 爬虫框架

    5+2  的结构

    Scrapy爬虫框架解析
    Engine模块(不需要用户修改):控制所有模块之间的数据流;根据条件触发事件
    Downloader模块(不需要用户修改):根据请求下载网页
    Scheduler模块(不需要用户修改):对所有爬取请求进行调度管理
    Downloader Middleware中间键
    目的:实施Engine、Scheduler和Downloader之间进行用户可配置的控制
    功能:修改、丢弃、新增请求或响应用户可以编写配置代码
    Spider模块(需要用户编写配置代码)
    解析Downloader返回的响应(Response)
    产生爬取项(scraped item)
    产生额外的爬取请求(Request)
    Item Pipelines模块(需要用户编写配置代码)
    以流水线方式处理Spider产生的爬取项
    由一组操作顺序组成,类似流水线,每个操作是一个Item Pipeline类型
    可能操作包括:清理、检验和查重爬取项中的HTML数据、将数据存储到数据库 
     
    Spider Middleware中间键
    目的:对请求和爬取项的再处理
    功能:修改、丢弃、新增请求或爬取项
    用户可以编写配置代码
     
    requests库和Scrapy爬虫的比较
    相同点
    两者都可以进行页面请求和爬取,Python爬虫的两个重要技术路线
    两者可用性都好,文档丰富,入门简单
    两者都没用处理js、提交表单、应对验证码等功能(可扩展)
    不同点
    选用哪个技术路线开发爬虫
     
    Scrapy爬虫的常用命令 
    Scrapy是为持续运行设计的专业爬虫框架,提供操作的Scrapy命令行
    为什么Scrapy采用命令行创建和运行爬虫
    命令行(不是图形界面)更容易自动化,适合脚本控制
    本质上,Scrapy是给程序员用的,功能(而不是界面)更重要 
     一个实例
    演示HTML页面地址:http://python123.io/ws/demo.html
    文件名称:demo.html
    产生步骤
    步骤1:建立一个Scrapy爬虫工程
    scrapy startproject python123demo
    生成的工程目录
     
    步骤2:在工程中产生一个Scrapy爬虫
    cd python123demo ­­> scrapy genspider demo python123.io
    demo.py文件
    # -*- coding: utf-8 -*-
    import scrapy
    
    
    class DemoSpider(scrapy.Spider):必须继承于scrapy.Spider
        name = 'demo'
        allowed_domains = ['python123.io']#只能爬取该域名一下的内容
        start_urls = ['http://python123.io/']
    
        def parse(self, response):
            pass
     
    # parse()用于处理响应,解析内容形成字典,发现新的URL爬取请求 
     
    步骤3:配置产生的spider爬虫 
     
    # -*- coding: utf-8 -*-
    
    
    
    import scrapy
    class DemoSpider(scrapy.Spider):
        name ='demo'
        allowed_domains = ["python123.io"]
        start_urls = ['https://python123.io/ws/demo.html']
        def parse(self,response):
            fname = response.url.split('/')[-1]
            with open(fname,'wb') as f:
                f.write(response.body)
            self.log('Saved file %s.' % fname)
    步骤4:运行爬虫,获取网页
    scrapy crawl demo 
  • 相关阅读:
    16个能帮你找到网页设计灵感的网站
    Charts 图表插件
    jquery获取text,areatext,radio,checkbox,select值(转)
    原型开发、模型构建和设计反馈在线工具
    AutoComplete 自动完成插件(2)
    以蓝色为主题的网站设计灵感
    25个必须要学会的jQuery幻灯片插件教程(中)
    25个必须要学会的jQuery幻灯片插件教程(上)
    极具创意和趣味性的网站404错误页面设计集合
    用CSS制作横向菜单
  • 原文地址:https://www.cnblogs.com/tingtin/p/13024870.html
Copyright © 2011-2022 走看看