scrapy抓取拉勾网职位信息（五）——代码优化

上一篇我们已经让代码跑起来，各个字段也能在控制台输出，但是以item类字典的形式写的代码过于冗长，且有些字段出现的结果不统一，比如发布日期。

而且后续要把数据存到数据库，目前的字段基本都是string类型，会导致占用空间较多，查询时速度会较慢，所以本篇先对目前已写好的代码进行适当优化。

---

本篇目的：使用item loader以及processor对代码进行优化，对字段数据进行清洗

1、修改一下items.py文件的字段

我们对工资和工作经验字段进行分割让其更适合数据库存储：

import scrapy


class LagouItem(scrapy.Item):
    url = scrapy.Field()
    name = scrapy.Field()
    ssalary = scrapy.Field()  #最低工资
    esalary = scrapy.Field()  #最高工资
    location = scrapy.Field()
    syear = scrapy.Field()  #最低工作经验
    eyear = scrapy.Field()  #最高工作经验
    edu_background = scrapy.Field()
    type = scrapy.Field()
    tags = scrapy.Field()
    release_time = scrapy.Field()
    advantage = scrapy.Field()
    job_desc = scrapy.Field()
    work_addr = scrapy.Field()
    company = scrapy.Field()

---

小贴士：我们要使用item loaders，需要对其有一个基本的了解。item loaders可以看成是对item对象的一个封装，也就是说它同样可以对字段进行操作，另外对于每一个字段，都有一个input processor和一个output processor，也就是输入处理器，和输出处理器，一般情况下，output processor即输出处理器使用的更多，它可以对我们使用css或者xpath选择出的结果进行进一步的处理。

---

2、编写lagou_c.py文件

导入LagouCLoader以及修改parse_item()函数

　　from lagou.loaders import LagouCLoader  #这个loaders.py文件是新建立的文件，它包括一个LagouCLoader类使用处理器对item进行处理


　　def parse_item(self,response):
        loader = LagouCLoader(item=LagouItem(),response=response)
        loader.add_value('url',response.url)
        loader.add_css('name','.name::text')
        loader.add_css('ssalary','.salary::text')
        loader.add_css('esalary','.salary::text')
        loader.add_xpath('location','//*[@class="job_request"]//span[2]/text()')
        loader.add_xpath('syear','//*[@class="job_request"]//span[3]/text()')
        loader.add_xpath('eyear','//*[@class="job_request"]//span[3]/text()')
        loader.add_xpath('edu_background','//*[@class="job_request"]//span[4]/text()')
        loader.add_xpath('type','//*[@class="job_request"]//span[5]/text()')
        loader.add_css('tags','.labels::text')
        loader.add_css('release_time','.publish_time::text')
        loader.add_css('advantage','.job-advantage p::text')
        loader.add_css('job_desc','.job_bt p::text')
        loader.add_xpath('work_addr','//div[@class="work_addr"]/a[1]/text()')  #这个work_addr分成了三次进行填充，最终需要把得到的数据进行合并
        loader.add_xpath('work_addr','//div[@class="work_addr"]/a[2]/text()')
        addr_value = response.css('.work_addr::text').extract()[-2].strip()
        loader.add_value('work_addr',addr_value)
        loader.add_css('company','.job_company img::attr(alt)')
        yield loader.load_item()

---

解释：可以看到我们先生成了一个LagouCLoader实例对象，这个类使用了两个参数，一个是LagouItem对象，还有一个是response对象，而下方调用了一系列的方法对字段进行填充，add_xpath，add_css，add_value就是字面上的意思，对response使用xpath，css或者直接用一个value值进行填充。这和我们之前写的parse_item()比较类似，不同的是之前的每一个字段我们都直接进行了处理。最后使用yield loader.load_item()方法将字段分配出去。

---

强行解释一波：

上面的解释可能大家看的还是有点懵，我就用现实生活中的例子来说吧。现在我要做3个菜，青椒肉丝，西红柿炒鸡蛋，酸辣土豆丝。

items （空字段）：可以看成这三个菜，但是最开始是没有的，需要加工出来

input processor：可以看成是前置处理，洗菜，切菜，准备配料等。

add_xpath，add_css，add_value：开始炒菜咯，放点油，放点盐，多加点辣椒。。。

output processor： 可以看成是后置处理，菜做好了， 撒点葱，香油

items（成品）：现在可以上菜了，yield laoder.load_item()

---

3、编写loaders.py文件

细心的童鞋可能发现了，我们在lagou_c.py文件中只是把字段提取了出来，但是还没有做处理，所以我们在items.py文件的同级目录下建立一个loaders.py文件

• 首先导入loaders以及几个自带的processor处理器，Join，Compose，TakeFirst，MapCompose

 from scrapy.loader.processors import Join, Compose, TakeFirst, MapCompose
 from scrapy.loader import ItemLoader

Join：和python原生库中的Join用法类似，用来做拼接

Compose：参数传入多个函数对象，这几个函数会依次调用

MapCompose：和Compose类似，不同的是它可以对一个列表中的每个值分别调用函数

TakeFirst：和extract_first()类似，不过，TakeFirst是产生第一个非空的值

• 建立一个LagouCLoader类，它继承自ItemLoader，字段的处理在这个类下面进行

class LagouCLoader(ItemLoader):
    default_output_processor = TakeFirst()  #设置默认的输出处理器为TakeFirst，也就是说，所有的字段信息提取出来后，会自动取第一个值，类似extract_first()

---

但是我们目前还有几个字段不能这样处理

location、edu_backgroud：提取出的字段需要去掉/和多余的空格

ssalary、esalary：最低工资和最高工资在同一个字段里，需要分别拿出来

syear、eyear：最低工作年限和最高工作年限需要进一步处理，提取出的字段有类似几种情况，a:如3-5年，b.如三年以上 c.如经验不限

release_time：发布时间同样分类似几种情况，a.如 2天前 b.如13：20c.如2018-11-11

tags、advantage、job_desc：需要使用Join方法进行拼接

---

• 我这里直接给出代码

from scrapy.loader.processors import Join, Compose, TakeFirst, MapCompose
from scrapy.loader import ItemLoader
import re
import datetime


def change_value(value):  
    return value.replace('/', '').strip()  #把字段的’/‘更换为空，然后把首位多余的空格去掉


def time_trans(value):
    if '天前' in value:   #针对字段中有几天前的情况
        num = re.search('(d+).*', value).group(1)
        time_pub = datetime.datetime.now() - datetime.timedelta(days=int(num))  #获取num天前的日期
        return time_pub.strftime('%Y-%m-%d')
    if '-' in value: #针对字段中有-的情况，也就是有具体发布日期的情况
        time_pub = re.search('(d+-d+-d+).*', value).group(1)
        return time_pub
    else:
        return datetime.datetime.now().strftime('%Y-%m-%d')  #把当前日期转为string格式


def exp_trans(value):
    if '-' in value:  #针对有具体工作经验年限要求的
        result = re.findall('(d+).*-(d+).*', value)
    elif '以上' in value:  #针对含多少年以上工作经验的情况
        result = re.search('(d+).*', value)
    else: 
        result = [(0, 0)] #和另外两种情况保持一致格式
    return result  #返回的结果是一个列表（内含元组），元组内第一个是最低工作年限，第二个值是最高工作年限


class LagouCLoader(ItemLoader):
    default_output_processor = TakeFirst()  #将所有的字段都进行后处理，只取第一个非空值，但是要注意这个优先级是低于_in,_out的
    location_out = Compose(TakeFirst(), change_value)  #字段名+_out代表的就是对输出后的处理
    edu_background_out = Compose(TakeFirst(), change_value)
    ssalary_out = Compose(TakeFirst(), lambda x: re.search('(d+).*-(d+).*', x).group(1))
    esalary_out = Compose(TakeFirst(), lambda x: re.search('(d+).*-(d+).*', x).group(2))
    syear_out = Compose(TakeFirst(), exp_trans, lambda x: x[0][0])
    eyear_out = Compose(TakeFirst(), exp_trans, lambda x: x[0][1])
    release_time_out = Compose(TakeFirst(), time_trans)
    tags_out = Compose(Join(','))
    advantage_out = Compose(Join(','))
    job_desc_out = Compose(Join('
'))
    work_addr_out = Compose(Join(''))

---

小贴士：

• default_output_processor = TakeFirst()，设置所有的默认输出处理器都使用TakeFirst()，这样对于所有的字段全都只会取第一个非空值，针对数据本身就很整齐，不需要额外进行清洗的，这种操作收益最大。
• 如果需要对某个字段使用输入处理器，可以使用字段名+_in = processor（）来对该字段进行输入的修饰处理，注意这里的processor是指Compose、TakeFirst等。比如字段名是name，name_in = Compose(lambda x:x.strip())就可以对输入进行处理了,处理的结果就是输入的值前后去除了多余的空格。同理，如果要对某个字段使用输出处理器，那就使用字段名+_out来进行操作。
• 优先级说明：类似_in，_out这种操作，优先级是高于default_output_processor（或者default_input_processor)优先级的，所以如果对某个字段采取了_in，_out操作，这个操作就会把default_output_processor的操作给覆盖掉。

---

这样我们就完成了前期的代码优化，运行下程序看下结果，可以看到符合我们的预期要求。