继上篇《python之urllib2简单解析HTML页面》之后学习使用Python比较有名的爬虫scrapy。网上搜到两篇相应的文档，一篇是较早版本的中文文档Scrapy 0.24 文档，一篇是当前最新文档Scrapy 1.3 documentation，建议还是看最新的英文文档比较好。
scrapy的安装教程请参考上篇《python之urllib2简单解析HTML页面》。
1、创建一个个Scrapy项目
scrapy startproject firstCrawler
目录切换到firstCrawler，目录结构如下：
.
├── firstCrawler
│ ├── __init__.py
│ ├── items.py
│ ├── middlewares.py
│ ├── pipelines.py
│ ├── settings.py
│ └── spiders
│ └── __init__.py
└── scrapy.cfg
scrapy.cfg: 项目的配置文件tems.py: 项目中的item文件，用来定义解析对象对应的属性或字段。pipelines.py: 负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取到数据库）settings.py: 项目的设置文件.- spiders：实现自定义爬虫的目录
- middlewares.py：Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response)和输出(items及requests)。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。
这里开发的IDE使用IDEA，因为笔记本上本来就装了，就不想麻烦。因为使用的是Python的虚拟环境，因此需要额外配置一下。如下图：
2、定义Item
Item 是保存爬取到的数据的容器；其使用方法和python字典类似， 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。首先根据需要从dmoz.org获取到的数据对item进行建模。 我们需要从dmoz中获取名字，url，以及网站的描述。 对此，在item中定义相应的字段。
# -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # http://doc.scrapy.org/en/latest/topics/items.html import scrapy class FirstcrawlerItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() title = scrapy.Filed() link = scrapy.Filed() desc = scrapy.Filed() pass
这里定义了三个字段title、link、desc，实际的应用中会更复杂。这个文件就简单的定义好了，这意味着我们抓取的页面元素是标题、连接、描述。
3、编写第一个爬虫（Spider）
自己创建的爬虫必须继承 scrapy.Spider 类， 且定义以下三个属性:
name: 用于区别Spider。 该名字必须是唯一的，您不可以为不同的Spider设定相同的名字，一个项目中可以有多个爬虫。运行时通过指定name运行指定的爬虫。start_urls: 包含了Spider在启动时进行爬取的url列表。 因此，第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。- allowed_domains:可选。包含了spider允许爬取的域名(domain)列表(list)。 当
OffsiteMiddleware启用时， 域名不在列表中的URL不会被跟进。 parse()是spider的一个方法。 被调用时，每个初始URL完成下载后生成的Response对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的Request对象。
提取Item元素，需要用到Selectors选择器,网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors
这里给出XPath表达式的例子及对应的含义(http://www.w3school.com.cn/xpath/index.asp):
/html/head/title: 选择HTML文档中<head>标签内的<title>元素/html/head/title/text(): 选择上面提到的<title>元素的文字//td: 选择所有的<td>元素//div[@class="mine"]: 选择所有具有class="mine"属性的div元素
xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表 。css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表.extract(): 序列化该节点为unicode字符串并返回list。re(): 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。
import scrapy class DemoSpider(scrapy.Spider): name = "Demo" allowed_domains = ["dmoztools.net"] start_urls = [ "http://www.dmoztools.net/World/Chinese_Simplified/%E8%AE%A1%E7%AE%97%E6%9C%BA/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BA%91%E8%AE%A1%E7%AE%97/" ] def parse(self, response): for sel in response.xpath("//div[@class='title-and-desc']"): title = sel.xpath("a/div[@class='site-title']/text()").extract() link = sel.xpath("a/@href").extract() desc = sel.xpath("div[@class='site-descr ']/text()").extract() print title, link, desc
4、运行爬虫
进入项目的根目录，就是scrapy.cfg所在的目录运行
(e27) ➜ firstCrawler scrapy crawl Demo
结果如下
2017-04-10 00:56:52 [scrapy.utils.log] INFO: Scrapy 1.3.3 started (bot: firstCrawler) 2017-04-10 00:56:52 [scrapy.utils.log] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'firstCrawler.spiders', 'SPIDER_MODULES': ['firstCrawler.spiders'], 'ROBOTSTXT_OBEY': True, 'BOT_NAME': 'firstCrawler'} 2017-04-10 00:56:52 [scrapy.middleware] INFO: Enabled extensions: ['scrapy.extensions.logstats.LogStats', 'scrapy.extensions.telnet.TelnetConsole', 'scrapy.extensions.corestats.CoreStats'] 2017-04-10 00:56:52 [scrapy.middleware] INFO: Enabled downloader middlewares: ['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware', 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', 'scrapy.downloadermiddlewares.retry.RetryMiddleware', 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', 'scrapy.downloadermiddlewares.stats.DownloaderStats'] 2017-04-10 00:56:52 [scrapy.middleware] INFO: Enabled spider middlewares: ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', 'scrapy.spidermiddlewares.referer.RefererMiddleware', 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', 'scrapy.spidermiddlewares.depth.DepthMiddleware'] 2017-04-10 00:56:52 [scrapy.middleware] INFO: Enabled item pipelines: [] 2017-04-10 00:56:52 [scrapy.core.engine] INFO: Spider opened 2017-04-10 00:56:52 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2017-04-10 00:56:52 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023 2017-04-10 00:56:55 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmoztools.net/robots.txt> (referer: None) 2017-04-10 00:56:56 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmoztools.net/World/Chinese_Simplified/%E8%AE%A1%E7%AE%97%E6%9C%BA/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BA%91%E8%AE%A1%E7%AE%97/> (referer: None) [u'IT168u4e91u8ba1u7b97u9891u9053 '] [u'http://cloud.it168.com/'] [u' u63d0u4f9bu4e91u8ba1u7b97u6700u65b0u8d44u8bafu3001u6280u672fu89e3u8bfbuff0cu4ea7u54c1u548cu670du52a1u7684u5bfcu8d2du548cu9009u578buff0cu5206u4eabu56fdu5185u5916u4e91u8ba1u7b97u7684u6210u529fu6848u4f8bu3002 ', u' '] [u'u4e2du4e91u7f51 '] [u'http://www.china-cloud.com/'] [u' u63d0u4f9bu4e91u8ba1u7b97u8d44u8bafuff0cu5305u62ecu4e91u8ba1u7b97u6280u672fu3001u4e91u8ba1u7b97u5e94u7528u3001u4e91u8ba1u7b97u4ea7u4e1au3001u4e91u8ba1u7b97u5e02u573au3001u4e91u5b58u50a8u3001u4e91u5b89u5168u3001u4e91u670du52a1u7b49u76f8u5173u8d44u8bafu3002 ', u' '] [u'u4e2du5173u6751u5728u7ebfu4e91u8ba1u7b97u9891u9053 '] [u'http://cloud.zol.com.cn/'] [u' u63d0u4f9bu4e91u8ba1u7b97u884cu60c5uff0cu4e91u8ba1u7b97u62a5u4ef7uff0cu4e91u8ba1u7b97u8bc4u6d4buff0cu4e91u8ba1u7b97u8bbau575buff0cu4e91u8ba1u7b97u7ecfu9500u5546u7b49u6709u4ef7u503cu7684u53c2u8003u3002 ', u' '] [u'u4e2du56fdu4e91u8ba1u7b97 '] [u'http://www.chinacloud.cn/'] [u' u63d0u4f9bu4e91u8ba1u7b97u6982u5ff5u3001u4e91u8ba1u7b97u6280u672fu3001u4e91u8ba1u7b97u5e94u7528u3001u4e91u8ba1u7b97u5b66u4e60u3001u4e91u8ba1u7b97u673au3001u4e91u5b58u50a8u3001u4e91u5b89u5168u3001u4e91u670du52a1u7b49u4ea4u6d41u4e2du5fc3u3002 ', u' '] [u'u4e2du56fdu4e91u8ba1u7b97u670du52a1u7f51 '] [u'http://www.cloudguide.com.cn/'] [u' u63d0u4f9bu4e91u8ba1u7b97u65b0u95fbu8d44u8bafu4ee5u53cau4e91u8ba1u7b97u4ea7u54c1u548cu670du52a1uff0cu540cu65f6u63d0u4f9bu6709u4ef7u503cu7684u4e91u8ba1u7b97u884cu4e1au89e3u51b3u65b9u6848u53cau5e94u7528u6848u4f8bu7b49u70edu95e8u8d44u6e90 u3002 ', u' '] 2017-04-10 00:56:56 [scrapy.core.engine] INFO: Closing spider (finished) 2017-04-10 00:56:56 [scrapy.statscollectors] INFO: Dumping Scrapy stats: {'downloader/request_bytes': 549, 'downloader/request_count': 2, 'downloader/request_method_count/GET': 2, 'downloader/response_bytes': 6789, 'downloader/response_count': 2, 'downloader/response_status_count/200': 2, 'finish_reason': 'finished', 'finish_time': datetime.datetime(2017, 4, 9, 16, 56, 56, 295317), 'log_count/DEBUG': 3, 'log_count/INFO': 7, 'response_received_count': 2, 'scheduler/dequeued': 1, 'scheduler/dequeued/memory': 1, 'scheduler/enqueued': 1, 'scheduler/enqueued/memory': 1, 'start_time': datetime.datetime(2017, 4, 9, 16, 56, 52, 724189)} 2017-04-10 00:56:56 [scrapy.core.engine] INFO: Spider closed (finished)
可以看到已经抓取到了结果，只不过汉字用的是Unicode码表示