007 爬虫（Scrapy库的使用）

推荐网址：

　　http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/architecture.html

1.简介

　　python开发的一个快速，高层次的屏幕抓去和web抓取框架，用于抓取web站点并从网页中提取结构化的数据。

　　是一个框架，可以根据需要进行修改。

　　提供了多种类型爬虫的基类，如BaseSpider，sitemap爬虫等。

2.框架

　　

3.Scrapy的运行流程

　　引擎从调度器中取出一个链接用于接下来的抓取

　　引擎把url封装成一个请求传给下载器

　　下载器把资源下载下来，并封装成应答包

　　爬虫解析response

　　解析出实体Item，则交给实体管道进行进一步的处理

　　解析出的是链接，则把url交给调度器等待抓取。

二：安装

1.第一步安装lxml

　　lxml是一个非常有用的python库，可以灵活高校的解析xml，与bs，requests相结合，是编写爬虫的标准姿势。

　　

2.第二步安装zope.interface

　　python支持多继承，但是不支持接口，zope.interface是其三方的接口实现库，在twisted中有大量的使用

　　

3.第三步安装twisted

　　twisted是python实现的基于事件驱动的网络引擎框架。

　　支持很多框架，包括UDP,TCP,TLS和其他应用层协议（http，smtp，nntm，irc，xmpp等）

　　

4.第四步安装pyOpenSSL

　　生成网络安全需要的CA和证书

　　

 5.第五步pywin32

　　pywin32是一个python库，为python访问windows API的扩展，提供了齐全的windows常量，接口，线程以及com机制等

　　下载地址：

　　　　https://sourceforge.net/projects/pywin32/files/pywin32/

　　　　

　　双击安装

　　　　

6.安装Scrapy

　　scrapy不同简单的单线爬虫，采用scrapy框架写python会生成许多的文件，这一件类似java里的web框架，许多工作可以通过配置文件来生成。

　　pip install scrapy

　　

 三：生成项目

1.添加系统变量

　　使得scrapy.exe可以被访问到。

　　

2.找到要生成项目的目录

　　

3.从cmd中进入这个目录

　　

4.在这里执行语句

　　scrapy startproject test2

　　

5.如图

　　

四：制作爬虫

1.完成爬虫的流程

　　新建项目

　　明确目标

　　制作爬虫

　　存储内容

2.新建项目的目录结构

　　

3.解释文件的作用

　　scrapy.cfg：项目的配置文件

　　test2/：项目中的python模块，将会从这里引用代码

　　items.py：项目中items文件用来存放抓取内容容器的文件

　　pipelines.py：负责处理爬虫从网页中抽取的实体，持久化实体，验证实体的有效性，清除不需要的信息

　　settings.py：项目的设置文件

　　spiders：爬虫的目录

4.定义Item

　　是用来保存爬取到的数据的容器，

　　创建一个scrapy.Item类，并定义类型为scrapy.Field类属性来定义一个Item。

　　将爬取的内容与Field()定义的属性对应。

 程序：

# -*- coding: utf-8 -*-
from scrapy import Item,Field

class Test2Item(Item):
    #电影名
    title=Field()
    #评分
    start=Field()
    #评分人数
    critical=Field()
    #短评
    quote=Field()

 5.编写Spiders

　　创建继承了scrapy.Spider的子类，并定义以下三个属性：

　　name：用于区别spider

　　start_urls：包含了spider在启动时进行爬取的url列表

　　parse（）：是spider的一个方法，每个初始url完成下载后生成的response对象将会作为唯一的参数传递给该函数，该方法负责解析返回的数据，提取数据以及需要进一步处理的url的request对象。

程序：

# -*- coding: utf-8 -*-
#下面三行解决的是编码问题。python3不会出现
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

from scrapy.spiders import CrawlSpider
from scrapy.http import Request
from scrapy.selector import Selector
from test2.items import Test2Item
import re

#继承scrapy.spiders
class Doban(CrawlSpider):
    name = "douban"
    start_urls=['http://movie.douban.com/top250']
    url='http://movie.douban.com/top250'
    def parse(self, response):
        item=Test2Item()
        selector=Selector(response)
        Movies=selector.xpath('//div[@class="info"]')
        for eachMovie in Movies:
            #获取各个字段
            fullTitle=eachMovie.xpath('div[@class="hd"]/a/span[@class="title"][1]/text()').extract()

            start=eachMovie.xpath('div[@class="bd"]/div/span[@class="rating_num"]/text()').extract()

            criticalStr=eachMovie.xpath('div[@class="bd"]/div/span[4]/text()').extract()[0]
            critical=  filter(str.isdigit,str(criticalStr))

            quote=eachMovie.xpath('div[@class="bd"]/p[@class="quote"]/span/text()').extract()

            if quote:
                quote=quote[0]
            else:
                quote=''

            #赋值
            item['title']=fullTitle
            item['start']=start
            item['critical']=critical
            item['quote']=quote

            #提交
            yield item
        nextLink=selector.xpath('//span[@class="next"]/link/@href').extract()
        if nextLink:
            nextLink=nextLink[0]
            print nextLink
            yield Request(self.url+nextLink,callback=self.parse)
        return

 6.修改settings.py

USER_AGENT ='Mozilla/5.0 (Macintosh:Intel Mac OS X 10_8_3)' 
            'AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.54 Safari/536.5'

FEED_URI=u'file:///D:/WorkSpace/python/test2/doban.csv'
FEED_FORMAT='CSV'

 7.添加主函数运行

# -*- coding: utf-8 -*-
from scrapy import cmdline
cmdline.execute("scrapy crawl douban".split())

 8.运行结果