上一篇中已经分析了详情页的url规则,并且对items.py文件进行了编写,定义了我们需要提取的字段,本篇将具体的items字段提取出来
这里主要是涉及到选择器的一些用法,如果不是很熟,可以参考:scrapy选择器的使用
依旧是在lagou_c.py文件中编写代码
首先是导入LagouItem类,因为两个__init__.py文件的存在,所在的文件夹可以作为python包来使用
from lagou.items import LagouItem
编写parse_item()函数(同样为了详细解释,又是一波注释风暴):
def parse_item(self, response): item = LagouItem() #生成一个item对象 item['url'] = response.url #这个response是详情页面的response,因为本次我们只对详情页面使用了回调函数,所以可以这样理解 item['name'] = response.css('.name::text').extract_first() #用css选择器选择职位名称,因为结果是个列表,所以使用extract_first()提取第一个 item['salary'] = response.css('.salary::text').extract_first() #用css选择器选择薪水,但是这个是一个string类型,后续可以进行优化 location = response.xpath('//*[@class="job_request"]//span[2]/text()').extract_first() #使用xpath进行提取,span[2]代表多个平行span标签选择第二个 item['location'] = self.remove_splash(location) #得到的文本带有/,还有多余的空格,使用remove_splash函数进行清除,当然这个函数需要自己定义 work_exp = response.xpath('//*[@class="job_request"]//span[3]/text()').extract_first() #获取工作经验要求 item['work_exp'] = self.remove_splash(work_exp) #使用remove_splash对数据清洗 edu_background = response.xpath('//*[@class="job_request"]//span[4]/text()').extract_first() #获取学历要求 item['edu_background'] = self.remove_splash(edu_background) item['type'] = response.xpath('//*[@class="job_request"]//span[5]/text()').extract_first() #获取职位类型,全职or兼职 tags = response.css('.labels::text').extract() #tags是一个列表类型,直接使用extract()进行提取,而不使用extract_first() item['tags'] = ','.join(tags) #join函数是python内置函数,作用是把一个序列拼接起来,这里是用逗号把所有的tags标签拼接起来构成一个新的列表 item['release_time'] = response.css('.publish_time::text').extract_first() #获取发布时间,实际上这个发布时间存在很多种情况,有具体日期,也有几天前这种,后续进行优化 advantage = response.css('.job-advantage p::text').extract() #职位诱惑 item['advantage'] = ' '.join(advantage) #用join进行拼接 job_desc = response.css('.job_bt p::text').extract() #获取职位描述 item['job_desc'] = ' '.join(job_desc) work_addr = response.css('.work_addr a::text').extract()[:-1] #这个工作地址列表提取出来后,需要把最后一项去掉,最后一项是地图。。 item['work_addr'] = ''.join(work_addr) item['company'] = response.css('.job_company img::attr(alt)').extract_first() #获取公司名称 yield item
编写remove_splash()函数,这个函数传入一个值,然后对值中的/替换为空,最后将首尾的空格去掉
def remove_splash(self,value): return value.replace(r'/','').strip()
这样我们就把需要提取的字段都提取了出来,再次运行爬虫scrapy crawl lagou_c,控制台就可以得到类似如下的输出了
但是这抓取速度实在有点太吓人了。。。很怕被封了IP,要么限制下载速度,要么使用代理,我这里先使用限制下载速度这种措施
在settings.py文件中,取消DOWNLOAD_DELAY的注释修改为DOWNLOAD_DELAY = 1。
我们启动爬虫都是用命令行的方式来实现的,每次输入命令有点麻烦,这里我们修改一下
在根目录下建立一个main.py文件(说了那么多次根目录,其实就是进入项目文件夹后的第一个目录),代码如下:
from scrapy import cmdline cmdline.execute('scrapy crawl lagou_c'.split())
使用这种方式得到的结果是相同的