1、Item 和 Field
Scrapy 提供一下两个类，用户可以使用它们自定义数据类，封装爬取到的数据：
（1）Item类
自定义数据类（如 BookItem）的基类
（2）Field
用来描述自定义数据类包含那些字段（如 name、age等）
自定义一个数据类，只需继承 Item ，并创建一系列 Field 对象的类属性（类似 Django 中自定义 Model）即可。以自定义书籍信息 BookItem为例
>>>from scrapy import Item, Field >>> class BookItem(Item): name = Field() price = Field(0
Item 支持字典接口，因此 BookItem 在使用上和 Python 字典类似，可安一下方式创建BookItem对象：
>>> book = BookItem(name = 'jj', price = 45.0) >>> book {'name': 'jj', 'price': 45.0} >>> book['name'] 'jj' >>> book2 = BookItem() >>> book2 {} >>> book2['name'] = 'jjj' >>> book2['price'] = 32.5 >>> book2 {'name': 'jjj', 'price': 32.5}
2、Item Pipeline 处理数据
在 Scrapy 中，Item Pipeline 是处理数据的组件，一个 Item Pipeline 就是一个包涵特定接口的类，同城负责一种功能的数据处理，在一个项目中可以同时启用多个 Item Pipeline,他们按指定次序连起来，形成一条数据处理流水线。
以下就是 Item Pipeline 的几种典型应用：
（1）清洗数据
（2）验证数据的有效性
（3）过滤掉重复的数据
（4）将数据存入数据库
通过一个需求来讲解 Item Pipeline 的使用，比我如我们爬取的书籍价格是以英镑为单位的；如果我们期望爬去的书价是人命币价格，就需要用英镑价格乘以汇率算出人命币价格（处理数据），此时可以实现一个接个转换的 Item Pipeline 来完成这个工作。
实现 Item Pipeline
在创建 Scrapy 项目时，会自动生成一个 pipeline.py 文件，它用来放置用户自定义的 Item Pipeline：
class PriceConverPieline(object): # 英镑兑换人命币汇率 exchange_rate = 8.5309 def process_item(self, item, spider): # 提取 Item 的price字段 # 去掉前面英镑符号，转换为float 类型，乘以汇率 price = float(item['price'[1:]])*self.exchange_rate # 保留 2 为小数，赋值回item的price 字段 item['price'] = '￥%.2f'% price return item
对上面的代码解释如下：
（1）一个 Item Pipeline 不需要继承特定的基类，只需要实现某些特定方法，例如 process_item、open_spider、close_spider
（2）一个Item Pipeline必须实现一个Process_item(item, spider)方法，该该方法用来处理每一项由Spider 爬取的数据，其中的两个参数：
<1> Item 爬取到的一项数据（Item 或者字典）
<2> Spider 爬取此项数据的 Spider对象
上述代码中的 process_item 方法实现非常简单，将书籍的英镑价格转换为浮点数，乘以汇率并保留 2 为小数，然后复制回item的price字段，最后返回被处理过的item
可以看出，process_item 方法是 Item Pipeline 的核心，对该方法需要做两点补充说明：
（1）如果process_item 下处理某项 item 时返回了一项数据（item或字典），返回的数据会传递到下一级的 Item Pipeline（如果有）继续处理
（2）如果process_item 在处理某项 item 时抛出（raise）一个DropItem异常（scrapy.exceptions.DropItem）,该项 item 便会被抛弃，不在传递给后面的 Item Ppieline继续处理，也不会导出到文件。通常，我们在检测到无效数据或想要过滤数据时，抛出 DropItem异常。
除了必须实现process_item方法外，还有3个比较常用的方法，可用于需求选择实现：
（1）open_spider(self, spider)
Spider 打开时（处理数据前）回调该方法，同城方法用于在开始处理数据之前完成某些初始化工作，如连接数据库
（2）close_spider(self, spider)
Spider 关闭时（处理数据后）回调该方法，同城该方法用于在处理完成数据之后完成某些清理工作，如关闭数据库
（3）from_crawler(cls, crawler)
创建 Item Pipeline对象时回调该方法，通常，在该方法中通过 crawler.setting 读取配置，根据配置创建Item Pipeine对象
3、启用 Item Pipeline
在 Scrapy 中，Item Pipeline是可选的组件，想要启用某个（或某些）Item Pipeline，需要在配置文件settings.py中进行配置
ITEM_PIPELINE = { 'example.pipelines.PriceConverterPipeline' : 300 }
ITEM_PIPELINE 是一个字典，我们想要启用 Item Pipelne添加到这个字典中，其中每一项的键是每一个Item Pipelne类的导入路径，值是 0 ~ 1000 的数字，同事启用多个 Item Pipeline 时，Scrapy根据这些数值决定各 Item Pipeline 处理数据的先后次序，数字小的在前面。使用PriceConverterPipelien对数据处理后，books.csv 中的书价转换为人民币价格
4、过滤重复数据
为了确保爬取到的书籍信息中没有重复项，可以实现一个去重 Item Pipeline，这里我们一书名作为主键进行去重，实现DuplicatesPipeline
from scrapy.ecceptions import DropItem class DuplicatedPipeline(object): def __nit__(self): self.book_set = set() def process_item(self, item, spider): name = item['name'] if name in self.book_set: raise DropItem('Dupliccate book found: %s' % item) self.book_set.add(name) return item
对上述代码解释如下：
（1）增加构造方法，在其中初始化用于对书名去重的集合
（2）在 process_item 方法中， 先取出 item 的 name 字段，检查书名是否已在集合中，如果在，就是重复数据，抛出DropItem异常。将 item 抛弃，否则，将 item的 name 字段存入集合，返回 item
5、将数据存入 MongoDB
有时，我们想把爬取到的数据存入某种数据库中，可以实现 Item Pipeline完成此类任务
下面实现一个能将数据存入 MongoDB数据库的 Item Piipeline，代码如下：
from scrapy.item import import Item import pymongo class MongeDBPipeline(object): DB_URI = 'mongodb://localhost:27017/' DB_NAME = 'scrapy_data' def open_spider(self, spider): self.client = pymongo.MongoClient(self.DB_URI) def close_spider(self, spider): self.client.close() def process_item(self, spider): collection = self.db[spider,name] post = dict(item) if isinstance(item, Item) else item collection.insert_one(post) return item
对上述代码解释如下：
（1）在类属性中定义两个常量：
<1>DB_URI 数据库的 URI 地址
<2> DB_NAME 数据库的名字
（2）在Spider整个爬取过程中，数据库的连接和关闭操作只需要进行一次，应在开始处理数据前连接数据库，并在处理完所有数据之后关闭数据路
<1>open_spider(spider)
<2> close_spider(spider)