zoukankan      html  css  js  c++  java
  • 爬虫--Scrapy-基于RedisSpider实现的分布式爬虫

    爬取网易新闻

    需求:爬取的是基于文字的新闻数据(国内,国际,军事,航空)

    先编写基于scrapycrawl

    先创建工程

    scrapy startproject 58Pro

    cd 58Pro

    新建一个爬虫--基于一个scrapy

    scrapy genspider 58 www.xxx.com

    先把基本功能测试完:再进行修改

    selenium在scrapy中的应用

    引入:

    在通过scrapy框架进行某些网站数据爬取的时候,往往会碰到页面动态数据加载的情况发生,如果直接使用scrapy对其url发请求,
    是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现,通过浏览器进行url请求发送则会加载出对应的动态加载出
    的数据。那么如果我们想要在scrapy也获取动态加载出的数据,则必须使用selenium创建浏览器对象,然后通过该浏览器对象进行
    请求发送,获取动态加载的数据值。

    ---

    1.案例分析:
    
        - 需求:爬取网易新闻的国内板块下的新闻数据
    
        - 需求分析:当点击国内超链进入国内对应的页面时,会发现当前页面展示的新闻数据是被动态加载出来的,如果直接通过程序对url进行请求,
    是获取不到动态加载出的新闻数据的。则就需要我们使用selenium实例化一个浏览器对象,在该对象中进行url的请求,获取动态加载的新闻数据。
    2.selenium在scrapy中使用的原理分析: 当引擎将国内板块url对应的请求提交给下载器后,下载器进行网页数据的下载,然后将下载到的页面数据,封装到response中,提交给引擎,
    引擎将response在转交给Spiders。Spiders接受到的response对象中存储的页面数据里是没有动态加载的新闻数据的。要想获取动态加载
    的新闻数据,则需要在下载中间件中对下载器提交给引擎的response响应对象进行拦截,切对其内部存储的页面数据进行篡改,修改成携带了
    动态加载出的新闻数据,然后将被篡改的response对象最终交给Spiders进行解析操作。
    3.selenium在scrapy中的使用流程:
    1.重写爬虫文件的构造方法,在该方法中使用selenium实例化一个浏览器对象(因为浏览器对象只需要被实例化一次)
    
    2.重写爬虫文件的closed(self,spider)方法,在其内部关闭浏览器对象。该方法是在爬虫结束时被调用
    
    3.重写下载中间件的process_response方法,让该方法对响应对象进行拦截,并篡改response中存储的页面数据

    重写为:

    
    4.在配置文件中开启下载中间件

     -----

    中间件中的重写

     #拦截到响应对象(下载器传递给Spider的响应对象)
        #request:响应对象对应的请求对象
        #response:拦截到的响应对象
        #spider:爬虫文件中对应的爬虫类的实例
        def process_response(self, request, response, spider):
            #响应对象中存储页面数据的篡改
            if request.url in['http://news.163.com/domestic/','http://news.163.com/world/','http://news.163.com/air/','http://war.163.com/']:
                spider.bro.get(url=request.url)
                js = 'window.scrollTo(0,document.body.scrollHeight)'
                spider.bro.execute_script(js)
                time.sleep(2)  #一定要给与浏览器一定的缓冲加载数据的时间
                #页面数据就是包含了动态加载出来的新闻数据对应的页面数据
                page_text = spider.bro.page_source
                #篡改响应对象
                return HtmlResponse(url=spider.bro.current_url,body=page_text,encoding='utf-8',request=request)
            else:
                return response

     --------

    基于scrapy-redis的第二种形式的分布式爬虫:
    1. 基于RedisSpider实现的分布式爬虫(网易新闻) a) 代码修改(爬虫类):   i. 导包:from scrapy_redis.spiders import RedisSpider   ii. 将爬虫类的父类修改成RedisSpider   iii. 将起始url列表注释,添加一个redis_key(调度器队列的名称)的属性
    b) redis数据库配置文件的配置redisxxx.conf:   i.
    #bind 127.0.0.1   ii. protected-
    mode no c) 对项目中settings进行配置:



    iii可以被共享的管道

    2.UA池:

    a)        在中间价类中进行导包:

    b) 封装一个基于UserAgentMiddleware的类,且重写该类的process_requests方法

    1. 代理池:注意请求url的协议后到底是http·还是https
    2. selenium如何被应用到scrapy

    a)        在爬虫文件中导入webdriver类

    b)        在爬虫文件的爬虫类的构造方法中进行了浏览器实例化的操作

    c)         在爬虫类的closed方法中进行浏览器关闭的操作

    d)       在下载中间件的process_response方法中编写执行浏览器自动化的操作

     

    user_agent_list = [
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 "
            "(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
            "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 "
            "(KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 "
            "(KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 "
            "(KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 "
            "(KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 "
            "(KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 "
            "(KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
            "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 "
            "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 "
            "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
            "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
            "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
            "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
            "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 "
            "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
            "(KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 "
            "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 "
            "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
           ]
    user_agent

    代理ip

    proxy = {}

     UA池和代理池在scrapy中的应用

    一.下载中间件

    一.下载中间件
    
    下载中间件(Downloader Middlewares) 位于scrapy引擎和下载器之间的一层组件。
    
    - 作用:
    
    (1)引擎将请求传递给下载器过程中, 下载中间件可以对请求进行一系列处理。比如设置请求的 User-Agent,设置代理等
    
    (2)在下载器完成将Response传递给引擎中,下载中间件可以对响应进行一系列处理。比如进行gzip解压等。

    我们主要使用下载中间件处理请求,一般会对请求设置随机的User-Agent ,设置随机的代理。目的在于防止爬取网站的反爬虫策略。

    二.UA池:User-Agent池

    - 作用:尽可能多的将scrapy工程中的请求伪装成不同类型的浏览器身份。
    
    - 操作流程:
    
        1.在下载中间件中拦截请求
    
        2.将拦截到的请求的请求头信息中的UA进行篡改伪装
    
        3.在配置文件中开启下载中间件

    --

    #UA池代码的编写(单独给UA池封装一个下载中间件的一个类)
    #1,导包UserAgentMiddlware类
    class RandomUserAgent(UserAgentMiddleware):
    
        def process_request(self, request, spider):
            #从列表中随机抽选出一个ua值
            ua = random.choice(user_agent_list)
            #ua值进行当前拦截到请求的ua的写入操作
            request.headers.setdefault('User-Agent',ua)

    ==================================================================================
    在settings.py进行配置

     三.代理池

    - 作用:尽可能多的将scrapy工程中的请求的IP设置成不同的。
    
    - 操作流程:
    
        1.在下载中间件中拦截请求
    
        2.将拦截到的请求的IP修改成某一代理IP
    
        3.在配置文件中开启下载中间件

     -----

    #批量对拦截到的请求进行ip更换
    class Proxy(object):
        def process_request(self, request, spider):
            #对拦截到请求的url进行判断(协议头到底是http还是https)
            #request.url返回值:http://www.xxx.com
            h = request.url.split(':')[0]  #请求的协议头
            if h == 'https':
                ip = random.choice(PROXY_https)
                request.meta['proxy'] = 'https://'+ip
            else:
                ip = random.choice(PROXY_http)
                request.meta['proxy'] = 'http://' + ip
    
    PROXY_http = [
        '190.90.45.2:37333',
        '221.180.214.70:80',
        '103.27.24.114:80',
        '219.141.153.44:80',
        '112.253.22.161:80',
    ]
    PROXY_https = [
        '59.127.168.43:3128',
        '95.189.112.214:35508',
        '91.235.186.91:37757',
        '213.80.165.26:31532',
        '121.33.220.158:808',
    ]

    在settings.py

     完整代码:

    wangyi.py

    # -*- coding: utf-8 -*-
    import scrapy
    from wangyiPro.items import WangyiproItem
    from selenium import webdriver
    from scrapy_redis.spiders import RedisSpider
    from wangyiPro import settings
    class WangyiSpider(RedisSpider):
        name = 'wangyi'
        #allowed_domains = ['www.news.163.com']
        #start_urls = ['https://news.163.com']
        redis_key = 'wangyi'
    
    
        def __init__(self):
            # 实例化一个浏览器对象(实例化一次)
            self.bro = webdriver.Chrome(executable_path=settings.chrome_path)
        def close(self, spider):
            print('爬虫结束')
            self.bro.quit()
    
        def parse(self, response):
            lis = response.xpath('//div[@class="ns_area list"]/ul/li')
            li_list = []
            indexs = [3,4,6,7]
    
            for index in indexs:
                li_list.append(lis[index])
            # 获取四个板块中的链接和文字标题
            for li in li_list:
                url = li.xpath('./a/@href').extract_first()
                title = li.xpath('./a/text()').extract_first()
                print(url+':'+title)
                # 对每一个板块对应的url发起请求,获取页面数据(标题,缩略图,关键字,发布时间,url)
                yield scrapy.Request(url=url, callback=self.parseSecond, meta={'title': title})
    
        def parseSecond(self,response):
    
            # 获取页面数据(标题,缩略图,关键字,发布时间,url)
            # //div是定位所有div  加属性就是定位到所有符合条件的div
            div_list = response.xpath("//div[@class='data_row news_article clearfix']")
            # 因为是动态加载数据,所以没有生效使用selenium获得动态加载
            # print(len(div_list))===》0
            print(len(div_list))
            for div in div_list:
                # .表示当前目录
                head = div.xpath('.//div[@class="news_title"]/h3/a/text()').extract_first()
                print(head)
                url = div.xpath('.//div[@class="news_title"]/h3/a/@href').extract_first()
                imgUrl = div.xpath('./a/img/@src').extract_first()
                tag = div.xpath('.//div[@class="news_tag"]//text()').extract
                print('tag',tag)
                tags = []
                for t in tag:
                    t = t.strip('
     	')
                    tags.append(t)
                tag = "".join(tags)
    
    
                # 获取meta传递过来的数据值title
                title = response.meta['title']
                # 实例化item对象,将解析到的数据值存储到item对象中
                item = WangyiproItem()
                item['head'] = head
                item['url'] = url
                item['imgUrl'] = imgUrl
                item['tag'] = tag
                item['title'] = title
    
                # 对url发起请求,获取对应页面中存储的新闻内容数据
                print(head + ":" + url + ":" + imgUrl + ":" + tag)
                yield scrapy.Request(url=url, callback=self.getContent, meta={'item': item})
    
    
        def getContent(self,response):
            item = response.meta['item']
            # xpath()得到的是list
            content_list = response.xpath('//div[@class="post_text"]/p/text()').extarct
            content = ''.join(content_list)
            item['item'] = content
            yield item

    管道 pipelines.py

    class WangyiproPipeline(object):
        def process_item(self, item, spider):
            print(item['title'] + ':' + item['content'])
            return item

    items.py

    import scrapy
    class WangyiproItem(scrapy.Item):
        # define the fields for your item here like:
        # name = scrapy.Field()
        head = scrapy.Field()
        url = scrapy.Field()
        imgUrl = scrapy.Field()
        tag = scrapy.Field()
        title = scrapy.Field()
        content = scrapy.Field()

    github地址

    执行流程:

    1、打开redis服务器

    2、执行爬虫文件

     

    3、打开redis客户端

     向调度器队列仍一个起始url

    redis_key = 'wangyi'

    lpush wangyi https://news.163.com

     redis服务器配置处理问题(windows版本)

    解压:

    在配置文件中修改:

    protected-mode no
    #bind 127.0.0.1

    启动服务器的形式

    重新启动redis服务,要想配置文件起效,启动的时候,必须指定配置文件

    windows下启动redis服务器
    redis-server redis.windows.conf

     

    -------------------------------------------------

    在从机中打开redis客户端

    可以直接点击

    如果要增加redis的访问密码,修改配置文件/etc/redis.conf
    
    requirepass passwrd
    增加了密码后,启动客户端的命令变为:redis-cli -a passwrd

    测试是否能远程登陆

    cmd中的命令

    d:

    cd 文件夹

    使用 windows 的命令窗口进入 redis 安装目录,用命令进行远程连接 redis:
    
    redis-cli -h 192.168.1.112 -p 6379

     从机测试成功

    可以确信 redis 配置完成

    数据存储
    scrpay-redis 默认情况下会将爬取到的目标数据写入 redis
    利用 Python 丰富的数据库接口支持可以通过 Pipeline 把 Item 中的数据存放在任意一种常见的数据库中
    Scrapy 是一个优秀的爬虫框架。性能上,它快速强大,多线程并发与事件驱动的设计能将爬取效率提高几个数量级;功能上,它又极易扩展,支持插件,无需改动核心代码。但如果要运用在在大型爬虫项目中,不支持分布式设计是它的一个大硬伤。幸运的是,scrapy-redis 组件解决了这个问题,并给 Scrapy 带来了更多的可能性。
    
    作者:无口会咬人
    链接:https://www.jianshu.com/p/cd4054bbc757
    來源:简书
    简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

     多态从机测试分布式:‘’

     

     

     

     

     

  • 相关阅读:
    判断添加用户名的唯一性
    显示用户登录用户名
    security安全框架,用户登录安全认证与退出
    mybatis分页助手分页
    javaWeb删除一条及多条数据
    javaWeb手动分页步骤
    自定义格式日期
    iOS开发UI篇—懒加载
    IOS-添加分段控件SegmentControl
    iOS设计模式——Category
  • 原文地址:https://www.cnblogs.com/foremostxl/p/10098086.html
Copyright © 2011-2022 走看看