爬虫框架scrapy(二)

一：scrapy核心组件的介绍

  1： 引擎（scrapy）：负责整个系统流程的数据处理，触发事物（核心）

  2：调度器(scheduler)：将需要爬取页面地址，放入队列中（url会自动去重），并在引擎再次请求返回

  3：下载器（downloader）:用于将下载的内容，返回给蜘蛛（scrapy 建立在twisted异步模型）

  4：爬虫（spider）:用于数据提取（item）

  5:  管道（pipelines）:用于数据存储

二：代理和cookie

    1：cookie操作

       scrapy获取二级子页面会自动携带cookie进行请求访问。

    2:scrapy发起post请求

     第一种你方法：重写start_requests方法，并且将scrapy.Request方法中method属性修改成post。该方法不建议使用

# -*- coding: utf-8 -*-
import scrapy


class App01Spider(scrapy.Spider):
    #爬虫文件名称  通过文件名称，定位到需要执行哪一个爬虫文件
    name = 'app01'
    #allowed_domains = ['www.baidu.com']# 允许的域名，只能爬去该域名下的页面数据，可注释
    start_urls = ['https://fanyi.baidu.com/sug']#起始url
    #重写start_requests 修改method属性为post请求
    def start_requests(self):
        for  url in self.start_urls:
            yield   scrapy.Request(url=url,callback=self.parse,method='post')
    #解析方法，对获取的页面内容进行指定数据解析。请求一次运行一次
    def parse(self, response):
          print(response.text)
    #爬虫文件结束后执行的方法，常常用来关闭资源文件
    def closed(self):
       pass

　　第二种方法：重写start_requests方法,使用FormRequest()方法发送post请求（建议使用）

          

# -*- coding: utf-8 -*-
import scrapy


#爬取百度翻译结果
class App01Spider(scrapy.Spider):
    #爬虫文件名称  通过文件名称，定位到需要执行哪一个爬虫文件
    name = 'app01'
    #allowed_domains = ['www.baidu.com']# 允许的域名，只能爬去该域名下的页面数据，可注释
    start_urls = ['https://fanyi.baidu.com/sug']#起始url
    #重写start_requests 修改method属性为post请求
    def start_requests(self):
        data={
            'kw':'man'
        }
        for  url in self.start_urls:
            yield   scrapy.FormRequest(url=url,formdata=data,callback=self.parse,)
    #解析方法，对获取的页面内容进行指定数据解析。请求一次运行一次
    def parse(self, response):
          print(response.text)
    #爬虫文件结束后执行的方法，常常用来关闭资源文件
    def closed(self):
       pass

　3:代理操作

     原理：当调度器将队列中的请求提交给下载器时，会经过中间件，而中间件可以对请求进行拦截，进而修改请求.ip

     步骤一：在middlewares.py文件中自定义中间类，并重写process_request()方法

class myProxy_Middleware(object):
    def process_request(self, request, spider):
        #修改ip  去面没ip地址找个ip  注意协议头
        request.meta['proxy']='http://120.76.77.152:9999'

    步骤二：修改settings.py文件，将编写的中间件类注册。

DOWNLOADER_MIDDLEWARES = {
   'myProxy_Middleware': 543,
}　　

三：日志等级

　　error:错误
　　warning:警告
　　info:一般
　　debug:调试信息
　　setting.py 设置日志打印等级
　　--任意位置添加LOG_LEVEL='ERROER'
　　--将日志信息打印指定的文件 LOG_FILE='log.txt'

四：请求传参

     --为了解决需要请求数据不在同一个页面中。通过scrapy.Request()方法中设置meta方法

     --传参

       yield scrapy.Request(url,callback=self.parse，meta={'item':item})

     --获取

        response.meta.get('item')

五：CrawlSpider 

  一：问题，爬取抽屉网的全部数据。

   解决方法一：手动请求的发送（不方便）

   解决方案二：使用CrawlSpider(建议使用)，是spider的子类，具有更强大的功能（链接提取器，规则解析器，所以性能更强大）

  二：创建CrawlSpider工程

　　1:创建工程：scrapy startproject xxxxxx

　　2:创建文件：scrapy genspider -t crawl file_name url

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule


class ChoutiSpider(CrawlSpider):
    name = 'chouti'
    # allowed_domains = ['www.chouti.com']
    start_urls = ['https://dig.chouti.com/']
    '''
      1：创建链接提取器对象
         --allow 提取页面url的正怎表达式
         --链接提取器可以从指定页面根据正则表达式，获取提取的url
         --将提取的url链接，全部发送给规则解析器
    '''
    link=LinkExtractor(allow=r'all/hot/recent/d+')

    '''
    2：实例化一个规则解析器对象
      --callback:对请求结果页面进行解析的函数回掉
      --fllow: 是否将链接提取器提取到的页面，继续使用链接提取器继续提取符合规则的url
         --可能会出现自动大量重复页面，但是会自动去重
    '''
    rules = (
        Rule(link, callback='parse_item', follow=True),
    )
    #回调函数
    def parse_item(self, response):
        item = {}
        print(response)
        return item