scrapy框架使用

Scrapy入门

• scrapy是框架 类似于车子 会开车
• 采用异步框架 实现高效的网络采集
• 最强大的框架 没有之一

Scrapy安装

• pin install scrapy --->出现错误提示：VC++14.0 Twisted

　　　　解决方法：离线安装 pip install xxx.whl文件

• scrapy bencn 运行的时候报错 ---->win32

　　　　解决方法：pip install pywin32

Scarpy入门案例

　　1、创建项目

　　　　scrapy startproject xxx(项目名字)

　　2、创建爬虫

　　　　scrapy genspider 爬虫名字 网站域名

　　　　注意事项：

　　　　　　　*爬虫名字和项目名字不能相同

　　　　　　   *网站域名是允许爬虫采集的域名

　　　　　　　　　- baidu.com

　　　3、解释爬虫文件

　　　　  

# -*- coding: utf-8 -*-
import scrapy

#创建爬虫类 并且继承自scrapy.Spider -->最基础的类，另外几个类都是继承自这个类
class XiciwangSpider(scrapy.Spider):
    name = 'xiciwang'   #爬虫名字，必须唯一
    allowed_domains = ['www.xicidaili.com'] #允许采集的域名
    start_urls = ['https://www.xicidaili.com/nn/'] #开始采集的网站

    #解析响应数据，提取数据或者网址等，就是源码 
    def parse(self, response):
        pass

　　4、提取数据方法

　　　　-正则表达式提取

　　　　-xpath提取

　　　　-css提取

　　

　　5、运行爬虫

　　　　-scrapy crawl爬虫名称

　　6、例子

　

# -*- coding: utf-8 -*-
import scrapy

#创建爬虫类 并且继承自scrapy.Spider -->最基础的类，另外几个类都是继承自这个类
class XiciwangSpider(scrapy.Spider):
    name = 'xiciwang'   #爬虫名字，必须唯一
    allowed_domains = ['www.xicidaili.com'] #允许采集的域名
    start_urls = ['https://www.xicidaili.com/nn/'] #开始采集的网站

    #解析响应数据，提取数据或者网址等，就是源码
    def parse(self, response):

        #提取数据
        shuju = response.xpath('//tr')
        for i in shuju:
            ip = i.xpath('./td[2]/text()').get()
            duankou = i.xpath('./td[3]/text()').get()
            print(ip,duankou)

        #翻页操作
        fangye = response.xpath("//div/a[@class='next_page']/@href").get()
        if fangye:
            print(fangye)
            #拼接网址
            # next_url = 'https://www.xicidaili.com/'+fangye
            next_url = response.urljoin(fangye)
            #发出请求Request callback 是回调函数 就是将请求得到的响应交给自己处理
            yield scrapy.Request(next_url,callback=self.parse)