Scrapy 项目：腾讯招聘

【项目目标】

通过爬取腾讯招聘网站的招聘信息（https://careers.tencent.com/search.html）练习Scrapy框架的使用

【项目过程】

1、通过抓包确认要抓取的内容是否在当前url地址中，测试发现内容不在当前url中并且数据格式为json字符串

 

2、请求url地址过长，考虑去除某些部分，经测试得到

https://careers.tencent.com/tencentcareer/api/post/Query?keyword=&pageIndex=1&pageSize=10&language=zh-cn&area=cn

3、寻找url地址，pageIndex=页码，可构造爬虫循环的URL列表

4、书写爬虫代码

　　- scrapy startproject tencent tencent.com

　　- cd  tencent.com

　　- scrapy genspider hr tencent.com

5、保存为CSV文件

import scrapy
import json


class HrSpider(scrapy.Spider):
    name = 'hr'
    allowed_domains = ['tencent.com']
    start_urls = ['https://careers.tencent.com/tencentcareer/api/post/Query?keyword=&pageIndex=1&pageSize=10&language'
                  '=zh-cn&area=cn']
    url = 'https://careers.tencent.com/tencentcareer/api/post/Query?keyword=&pageIndex={' 
          '}&pageSize=10&language=zh-cn&area=cn '
    pageIndex = 1

    def parse(self, response):
        json_str = json.loads(response.body)
        for content in json_str["Data"]["Posts"]:
            content_dic = {"title": content["RecruitPostName"], "location": content["LocationName"],
                           "date": content["LastUpdateTime"]}
            print(content_dict)20             
　　　　　　　　　yield content_dic

        if self.pageIndex < 10:
            self.pageIndex += 1
            next_url = self.url.format(self.pageIndex)
            yield scrapy.Request(url=next_url, callback=self.parse)

运行爬虫

　　- scrapy crawl hr

保存命令 - scrapy crawl hr -o tencent.csv