拉勾网职位信息爬取

学习python网络爬虫有一段时间了，正好赶上休假闲来无事，记录一下爬取的过程。

一、开发工具
Pycharm 2017
Python 2.7.10
requests
pymongo

二、爬取目标
1、爬取与python相关的职位信息
2、由于拉勾网只展示30页的搜索结果，每页15条职位信息，全部爬下来，最终将获取到450条信息
3、将结果存储在Mongodb中

三、结果展示

四、爬取过程
1、浏览器中打开拉勾网：https://www.lagou.com，搜索python，同时打开开发者工具进行抓包，找到能够返回数据的Request URL，通过一番查找，发现要找的url是https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&isSchoolJob=0，它返回的是json格式的数据：

经过以上分析，可以写一下初始化的代码：设置请求的url和请求头，请求头在抓包时可以获取，通过程序去爬取网络，我们要做的一件重要的事情就是模拟浏览器，否则遇到具有反爬虫措施的网站，很难将数据爬下来。当然了，设置正确的请求头，只是应对反爬虫的一部分措施。

def __init__(self):
    self.headers = {}
    self.headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36'
    self.headers['Host'] = 'www.lagou.com'
    self.headers['Referer'] = 'https://www.lagou.com/jobs/list_python?px=default&city=%E5%85%A8%E5%9B%BD'
    self.headers['X-Anit-Forge-Code'] = '0'
    self.headers['X-Anit-Forge-Token'] = None
    self.headers['X-Requested-With'] = 'XMLHttpRequest'
    self.url = 'https://www.lagou.com/jobs/positionAjax.json?px=default&needAddtionalResult=false&isSchoolJob=0'

2、返回每一条数据中包含的信息比较，我们只获取想要的：薪资、城市、工作年限、职位、职位描述、学历、公司全称、发布时间等。

result = {}
result['positionName'] = position['positionName']
result['createTime'] = position['createTime']
result['secondType'] = position['secondType']
result['city'] = position['city']
result['workYear'] = position['workYear']
result['education'] = position['education']
result['companyFullName'] = position['companyFullName']
result['financeStage'] = position['financeStage']
result['jobNature'] = position['jobNature']
result['salary'] = position['salary']
result['jobdescriptions'] = Lagou.get_detail(position['positionId'])
result['positionLables'] = position['positionLables']
result['positionId'] = position['positionId']

这里重点说明一下，职位信息是包含在详情页中的，通过观察发现，详情页名称是通过positionId.html方式命名的，所以要打开详情页获取职位信息就需要获取positionId，以上代码中：result['jobdescriptions'] = Lagou.get_detail(position['positionId'])可以看到。

获取列表页和详情页的代码如下：

    def get_data(self,page):
        while 1:
            try:
                form_data = {
                    'first' : 'true',
                    'pn' :  page,
                    'kd' : 'python'
                }
                result = requests.post(self.url,data=form_data,headers=self.headers)
                return result.json()['content']['positionResult']['result']
            except:
                time.sleep(1)

    def get_detail(self,positionId):
        url = 'https://www.lagou.com/jobs/%s.html' % positionId
        text = requests.get(url,headers=self.headers).text
        jobdescriptions = re.findall(r'<h3 class="description">(.*?)</div>',text,re.S)
        jobdescriptions = [re.sub(r'</?h3>|</?div>|</?p>|</?br>|^s+|</?li>','',j) for j in jobdescriptions]
        return jobdescriptions

mongodb的部分单独写了一个模块在主代码中调用：

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import pymongo

class MongodbOPT:
    def __init__(self, host, port, db, passwd, collection):
        self.host = host
        self.port = str(port)
        self.db = db
        self.passwd = passwd
        self.collection = collection

    def getClient(self):
        """返回MongoDB客户端对象"""
        conn = 'mongodb://' + self.db + ':' + self.passwd + '@' + self.host + ':' + self.port + '/' + self.db
        return pymongo.MongoClient(conn)

    def getDB(self):
        """返回MongoDB的一个数据库"""
        client = self.getClient()
        db = client['%s' % (self.db)]
        return db

    def insertData(self, bsonData):
        """插入数据（单条或多条）"""
        if self.db:
            db = self.getDB()
            collections = self.collection
            if isinstance(bsonData, list):
                result = db.get_collection(collections).insert_many(bsonData)
                return result.inserted_ids
            return db.get_collection(collections).insert_one(bsonData).inserted_id
        else:
            return None

    def findAll(self, **kwargs):
        if self.db:
            collections = self.collection
            db = self.getDB()
            def findAllDataQuery(self, dataLimit=0, dataSkip=0, dataQuery=None, dataSortQuery=None,dataProjection=None):
                return db.get_collection(collections).find(filter=dataQuery, projection=dataProjection, skip=dataSkip,
                                                           limit=dataLimit, sort=dataSortQuery)
            return findAllDataQuery(self, **kwargs)

    def updateData(self, oldData=None, **kwargs):
        if self.db:
            collections = self.collection
            db = self.getDB()
            def updateOne(self, oneOldData=None, oneUpdate=None, oneUpsert=False):  # 单个更新
                result = db.get_collection(collections).update_one(filter=oneOldData, update=oneUpdate,
                                                                  upsert=oneUpsert)
                return result.matched_count
            def updateMany(self, manyOldData, manyUpdate=None, manUpsert=False):  # 全部更新
                result = db.get_collection(collections).update_many(filter=manyOldData, update=manyUpdate,
                                                                    upsert=manUpsert)
                return result.matched_count
            if oldData:
                oneup = kwargs.get("oneUpdate", "")
                manyup = kwargs.get("manyUpdate", "")
                if oneup:
                    return updateOne(self, oldData, **kwargs)
                elif manyup:
                    return updateMany(self, oldData, **kwargs)

完整的代码放在github中了，有需要请移步：https://github.com/Eivll0m/PythonSpider/tree/master/lagou