1、在任意系统下,可以使用 pip 安装 Scrapy
pip install scrapy/
确认安装成功
>>> import scrapy >>> scrapy.version_info (1, 5, 1 )
可以看到 scrapy 的一些命令
$ scrapy
E:datajobjob>scrapy
Scrapy 1.6.0 - project: job
Usage:
scrapy <command> [options] [args]
Available commands:
bench Run quick benchmark test
check Check spider contracts
crawl Run a spider
edit Edit spider
fetch Fetch a URL using the Scrapy downloader
genspider Generate new spider using pre-defined templates
list List available spiders
parse Parse URL (using its spider) and print the results
runspider Run a self-contained spider (without creating a project)
settings Get settings values
shell Interactive scraping console
startproject Create new project
version Print Scrapy version
view Open URL in browser, as seen by Scrapy
Use "scrapy <command> -h" to see more info about a command
通过上面的两项检测,说明 Scrapy 安装成功了
2、创建一个 Scrapy 项目
在shell中使用 scrapy startproject命令:
scrapy startproject job
创建好的爬虫的项目目录文件如下所示
(通常我们不需要手工创建 Spider 文件以及 Spider 类,可以使用 scrapy genspider <SPIDER_NAME> <DOMAIN>命令生成(根锯模板)它们,该命令的两个参数分别是 Spider 的名字和多要爬取的预(网站))
$ cd job
$ scrapy genspider books books.toscrape.com
运行后,scrapy genspider 命令创建了文件 job/spider/books.py,并在其中创建了一个BooksSpider 类,代码如下:
# -*-coding: utf-8 -*- import scrapy cclass BooksSpider(scrapy.Spider): name = 'books' allowed_domains = ['books.toscrape.com'] start_urls = ['http://books.toscrapy.com/'] def parse(self, response): pass
1、分析页面
(1)数据信息
(2)链接信息
2、实现Spider
实现爬虫的 Python 文件应位于 job/spiders 目录下,在该目录下新建文件 51job.py
(1)提取数据
(2)提取链接
3、对 Spider 的实现做简单的说明
(1) name 属性
一个 Scrapy 醒目中可能有多个爬虫,每个爬虫的 name 属性是其自身的唯一标示,在一个项目中不能有同名的爬虫,例如 取名为 “books”
(2)start_url 属性
一个爬虫总要从某个(或某些)页面开始爬取,我们成这样的页面为其实爬取点,start_url 属性用来设置一个爬虫的其实爬取点。比如:“http://books.toscraper.com”.
(3)parse 方法
当一个页面下载完毕之后,Scrapy 引擎会回调一个我们指定的页面解析函数(默认为 parse 方法)解析页面,一个页面解析韩式同常需要完成以下两个任务:
<1> 提取页面中的数据 (使用 XPath 或者 CSS 选择器)
<2> 提取页面中的链接,并产生对链接页面的下载请求。
页面解析函数通常被实现为一个生成器函数,每一项从页面中提取的数据以及每一个链接页面的下载请求都由 yield 语句提交给 Scraoy 引擎
运行爬虫
在 shell 中执行 scrapy crawl <Spider_Name> 命令运行爬虫'books',并将爬取的数据存储到 csv 文件中:
scrapy crawl books -o books.csv
在进行页面分析时,除了之前使用过的 Chrome 开发者工具之外,另一种常用的工具是
scrapy shell <URL>
他使用户可以再交互式命令下操作一个 Scrapy 爬虫,通常我们使用该工具进行前期爬取实验,从而提高开发效率