10，zzlian爬取

职位属性分析

json

根据XHR获取的数据json

##获取地址
https://fe-api.zhaopin.com/c/i/sou?_v=0.28738099&x-zp-page-request-id=a1fb0e55ab9d4e86a00b25196e43c513-1579506475680-740213&x-zp-client-id=29f9e81e-3733-4572-8a33-ca68d5b88756&MmEwMD=4efyZZIZT80QYGAdVyXLr9sDoMwds3_bolcL84cEscxp6pHfh74Agw3_jog9XrpsFwdVMRNFUw8.B0fvxET6WamFePgwwM7xUjMgS4nMaNqzt.XSBzZCFtQMkDvAAda.tFdJxLEIdBN7Yvq4_nORcWGGY6Yd_nRozG2hjK2HqU8.ZFuql3hSlnQ8HCuOqtqcKkXHuV_5zZwijcaaYYsTZE8NNxQ9ssJWf3SF5wWoyd_8mCGNQwL9RG_dILT4i4IbJiymYoF9R6xmqJQlFghUocsCfWHuRgmW6RfeqDFgZ4DhDNAlpB2vIOXeFuoxaNLfIsE.ckUH9RPsFonCageEB_pK6cCtbEPx2mTQZpGEj5rLOndIsdat8oZNkMsZzY5YXXmsyjOSXrNLyOno3uNEs2Fkt

##使用


{
                "number": "CC892755990J00199427109", 
                "jobName": "Python 工程师", 
                "company": {
                    "name": "人民中科(山东)智能技术有限公司北京分公司", 
                    "number": "CZ892755990", 
                    "type": {
                        "name": "其它"
                    }, 
                    "size": {
                        "name": "20-99人"
                    }, 
                    "url": "https://company.zhaopin.com/CZ892755990.htm"
                }, 
                "city": {
                    "items": [
                        {
                            "name": "北京", 
                            "code": "530"
                        }
                    ], 
                    "display": "北京"
                }, 
                "updateDate": "2020-01-20 00:50:15", 
                "salary": "13K-20K", 
                "distance": 0, 
                "eduLevel": {
                    "name": "大专"
                }, 
                "jobType": {
                    "items": [
                        {
                            "name": "软件/互联网开发/系统集成"
                        }
                    ]
                }, 
                "feedbackRation": 0, 
                "workingExp": {
                    "name": "5-10年"
                }, 
                "industry": "160000,160200,160400,160100", 
                "emplType": "全职", 
                "applyType": "1", 
                "saleType": false, 
                "positionURL": "https://jobs.zhaopin.com/CC892755990J00199427109.htm", 
                "companyLogo": "https://rd5-public.zhaopin.cn/imgs/company/02a6367fc16ffe109ae696455760b38c.jpg", 
                "tags": [ ], 
                "expandCount": 0, 
                "score": "580", 
                "vipLevel": 1002, 
                "positionLabel": "{"chatWindow":null,"refreshLevel":2,"skillLabel":[{"state":0,"value":"MySQL"},{"state":0,"value":"Python"},{"state":0,"value":"分布式视频编解码系统"}]}", 
                "bestEmployerLabel": [ ], 
                "welfare": [    #福利
                    "五险一金", 
                    "年底双薪", 
                    "绩效奖金", 
                    "带薪年假", 
                    "弹性工作"
                ], 
                "businessArea": "五道口", 
                "futureJob": false, 
                "futureJobUrl": "", 
                "tagIntHighend": 0, 
                "rootOrgId": 89275599, 
                "staffId": 1045581628, 
                "chatWindow": 0, 
                "batchDeliveryType": 1, 
                "index": 5, 
                "selected": false, 
                "applied": false, 
                "collected": false, 
                "isShow": false, 
                "timeState": "最新", 
                "rate": ""
            }, 

数据获取(浏览器)

可以使用无头浏览器获取数据

##职位概述
<h3 class="summary-plane__title">Python 工程师</h3>

<div class="summary-plane__bottom">
    <div class="summary-plane__left">
        <span class="summary-plane__salary">
            1.3万-2万
        </span>
        <a href="https://www.zhaopin.com/gz_beijing/" target="_blank" class="summary-plane__calc">
            <i class="iconfont icon-calculator">
            </i>
        </a>
        <ul class="summary-plane__info">
            <li>
                <a href="//www.zhaopin.com/beijing/" target="_blank">
                    北京
                </a>
            </li>
            <li>
                5-10年
            </li>
            <li>
                大专
            </li>
            <li>
                招2人
            </li>
        </ul>
    </div>
</div>





##职位细节
<div class="job-detail">
    <div class="highlights">
        <h2 class="highlights__title">
            职位亮点
        </h2>
        <div class="highlights__content">
            <span class="highlights__content-item">
                五险一金
            </span>
            <span class="highlights__content-item">
                年底双薪
            </span>
            <span class="highlights__content-item">
                绩效奖金
            </span>
            <span class="highlights__content-item">
                带薪年假
            </span>
            <span class="highlights__content-item">
                弹性工作
            </span>
            <span class="highlights__content-item">
                补充医疗保险
            </span>
            <span class="highlights__content-item">
                定期体检
            </span>
        </div>
    </div>
    <!---->
    <div class="describtion">
        <h2 class="describtion__title">
            职位描述
        </h2>
        <div class="describtion__skills">
            <div class="describtion__skills-title">
                技能要求：
            </div>
            <div class="describtion__skills-content">
                <span class="describtion__skills-item">
                    MySQL
                </span>
                <span class="describtion__skills-item">
                    Python
                </span>
                <span class="describtion__skills-item">
                    分布式视频编解码系统
                </span>
            </div>
        </div>
        <div class="describtion__detail-content">
            岗位职责：
            <br>
            1、负责视频转解码开发工作；
            <br>
            2、负责业务系统数据分流中心开发工作；
            <br>
            任职条件：
            <br>
            1、全职类工作4(包含) 年以上开发经验；
            <br>
            2、Python基础扎实，掌握常用的类库的使用；
            <br>
            3、熟悉关系型数据库、非关系型数据库原理，如Mysql、REDIS等。（必须）
            <br>
            4、必须对多线程、分布式编程有较强的实践和应用能力。
            <br>
            5、掌握KAFKA、MQ等常用消息队列的使用。
            <br>
            6、熟悉Linux基本操作和常用命令，有Java开发经验优先。
            <br>
            7、熟悉基于FFMPEG的视频处理技术优先。
            <br>
            8、具有优秀的团队合作和独立抗压能力，善于学习，乐于分享。
            <br>
        </div>
    </div>
    <div class="job-address clearfix">
        <h2 class="job-address__title">
            工作地点
        </h2>
        <div class="job-address__content">
            <span class="job-address__content-text">
                <i class="iconfont icon-locate">
                </i>
                海淀区中关村东路66号世纪科贸大厦B座2705
            </span>
            <button class="job-address__content-view-map-button">
                查看地图
            </button>
            <div id="address__mapContainer" class="job-address__content-map" style="display:none;">
            </div>
        </div>
    </div>
</div>

使用工具获取数据

##获取职位名称   title
//*[@id="root"]/div[3]/div[1]/div/h3



##获取薪资   salary
//*[@id="root"]/div[3]/div/div/div[2]/div[1]/span


##info
//*[@id="root"]/div[3]/div/div/div[2]/div[1]/ul   获取其下的信息(地点,北京, 3-5年, 学历,招人数量)



##职位亮点
//*[@id="root"]/div[4]/div[1]/div[1]/div[1]/div  


##技能要求
//*[@id="root"]/div[4]/div[1]/div[1]/div[2]/div[1]/div[2]


##职位描述
//*[@id="root"]/div[4]/div[1]/div[1]/div[2]/div[2]

##工作地点
//*[@id="root"]/div[4]/div[1]/div[1]/div[3]/h2

操作流程

1,获取url(无头浏览器)

https://sou.zhaopin.com/?jl=530&kw=Python&kt=3


在此页面下获取每一个职位的url并保存,一共可以获取3页   每页的前三为广告,去除 
//*[@id="listContent"]/div[3]/div/a   的href=""

2,根据每个url 去获取他的职位细节

获取职位数据

考虑将无头浏览器的功能封装到一个类里面使用

4,保存数据

以什么格式保存,后期可以随时获取分析,保存的时候以时间点为轴,可以获取

保存时候薪水取最低的数字

使用mongodb  数据库

热门地点:

北京   上海   深圳 广州 天津  成都 杭州 武汉  大连   长春  南京 济南 青岛  苏州   沈阳 西安 郑州 长沙  重庆  哈尔滨  无锡  宁波  福州  厦门  石家庄  合肥  惠州  

分析参考链接

https://zhuanlan.zhihu.com/p/48349379   
https://zhuanlan.zhihu.com/p/27792227


https://blog.csdn.net/lys1695227550/article/details/82730024  有仓库 https://github.com/cherise-lailai/pythonRepository.git



https://www.jianshu.com/p/64dad9fb5c59  有原始数据可下载

selenium firefox

谷歌浏览器无法打开智联,使用firefox 可以正常

安装https://github.com/mozilla/geckodriver/releases

智联测试

driver = webdriver.Firefox()
driver.get("https://sou.zhaopin.com/?jl=530&kw=Python&kt=3")
driver.refresh() #刷新弹出的窗口
driver.fullscreen_window()



##测试
jobitems = driver.find_elements_by_class_name("contentpile__content__wrapper__item")
type(jobitems)
<class 'list'>
jobitems[0].text
'大数据分析工程师
立即沟通

银清科技有限公司
20K-30K
北京-海淀区
3-5年
本科
国企 500-999人
五险一金
年底双薪
绩效奖金
带薪年假
补充医疗保险
招聘中'
jobitems[1].text
'Python全栈开发
立即沟通

元素征信有限责任公司
30K-50K
北京
5-10年
本科
民营 20-99人
求贤若渴
五险一金
定期体检
员工旅游
节日福利
带薪年假
最新'
for i in jobitems:
    print(i.text)
    

    
##获取信息   
jobitems[4].text.replace("
", " ").split(sep=" ")
['Python开发工程师', '立即沟通', '', '北京富益辰医疗科技有限公司', '10K-20K', '北京', '3-5年', '大专', '民营', '20-99人', '五险一金', '股票期权', '弹性工作', '创业公司', '项目奖金', '最新']
jobitems[0].text.replace("
", " ").split(sep=" ")
['大数据分析工程师', '立即沟通', '', '银清科技有限公司', '20K-30K', '北京-海淀区', '3-5年', '本科', '国企', '500-999人', '五险一金', '年底双薪', '绩效奖金', '带薪年假', '补充医疗保险', '招聘中']
jobitems[1].text.replace("
", " ").split(sep=" ")
['Python全栈开发', '立即沟通', '', '元素征信有限责任公司', '30K-50K', '北京', '5-10年', '本科', '民营', '20-99人', '求贤若渴', '五险一金', '定期体检', '员工旅游', '节日福利', '带薪年假', '最新']
jobitems[2].text.replace("
", " ").split(sep=" ")
['Python工程师', '立即沟通', '', '北京康信知识产权代理有限责任公司', '10K-20K', '北京', '3-5年', '硕士', '民营', '100-499人', '同事很nice', '工作环境好', '氛围活跃', '团队执行强', '交通便利', '最新']

删除空格
itemtemp = ['Python开发工程师', '立即沟通', '', '北京富益辰医疗科技有限公司', '10K-20K', '北京', '3-5年', '大专', '民营', '20-99人', '五险一金', '股票期权', '弹性工作', '创业公司', '项目奖金', '最新']
item = [i for i in itemtemp if i != ""]


jjob = []
for i in jobitems:
    jjob.append(i.text.replace("
", " ").split(sep=" "))



每页一共90个链接
##获取job urls
aurls = driver.find_elements_by_xpath('//*[@id="listContent"]/div/div/a')
for url in aurls:
    print(url.get_attribute("href"))
    
jurls = []
for i in aurls:
    jurls.append(i.get_attribute("href"))


##获取公司url  
companyurls = driver.find_elements_by_xpath('//*[@id="listContent"]/div/div/a/div[1]//a')
for url in companyurls:
    print(url.get_attribute("href"))
    
jcomurls = []
for url in companyurls:
    jcomurls.append(url.get_attribute("href"))
    
    
    
tt = zip(jjob, jurls, jcomurls)
for i in tt:
    print(i)
    
(['大数据分析工程师', '立即沟通', '', '银清科技有限公司', '20K-30K', '北京-海淀区', '3-5年', '本科', '国企', '500-999人', '五险一金', '年底双薪', '绩效奖金', '带薪年假', '补充医疗保险', '招聘中'], 'https://jobs.zhaopin.com/CC120072300J00203379213.htm', 'http://special.zhaopin.com/pagepublish/12007230/index.html')
(['Python全栈开发', '立即沟通', '', '元素征信有限责任公司', '30K-50K', '北京', '5-10年', '本科', '民营', '20-99人', '求贤若渴', '五险一金', '定期体检', '员工旅游', '节日福利', '带薪年假', '最新'], 'https://jobs.zhaopin.com/CC406602384J00213628512.htm', 'https://company.zhaopin.com/CZ406602380.htm')
(['Python工程师', '立即沟通', '', '北京康信知识产权代理有限责任公司', '10K-20K', '北京', '3-5年', '硕士', '民营', '100-499人', '同事很nice', '工作环境好', '氛围活跃', '团队执行强', '交通便利', '最新'], 'https://jobs.zhaopin.com/CC000127437J00188500912.htm', 'https://special.zhaopin.com/pagepublish/12743/index.html')
(['Python', '立即沟通', '', '北京阿提拉科技有限公司', '10K-15K', '北京', '经验不限', '学历不限', '民营', '100-499人', '最新'], 'https://jobs.zhaopin.com/CC147646001J00153835513.htm', 'https://company.zhaopin.com/CZ147646000.htm')
(['Python研发工程师', '立即沟通', '', '北京玖月奇迹文化传播有限公司', '15K-20K', '北京', '1-3年', '本科', '民营', '20-99人', '带薪年假', '节日福利', '绩效奖金', '五险一金', '年终分红', '最新'], 'https://jobs.zhaopin.com/CC319091521J00257477011.htm', 'https://company.zhaopin.com/CZ319091520.htm')
(['Python软件开发/.net软件开发', '立即沟通', '', '北京丽盛创盈科技有限公司', '2K-4K', '北京', '无经验', '本科', '民营', '20人以下', '求贤若渴', '绩效奖金', '弹性工作', '带薪年假', '餐补', '项目奖金', '最新'], 'https://jobs.zhaopin.com/CC411991921J00208450315.htm', 'https://company.zhaopin.com/CZ411991920.htm')
(['Python研发工程师', '立即沟通', '', '北京安信天行科技有限公司', '8K-10K', '北京', '无经验', '本科', '国企', '500-999人', '求贤若渴', '五险一金', '交通补助', '通讯补助', '带薪年假', '补充医疗保险', '最新'], 'https://jobs.zhaopin.com/CC323676912J00208245715.htm', 'https://company.zhaopin.com/CZ323676910.htm')
(['Python开发工程师', '立即沟通', '', '北京数创世纪软件技术有限公司', '8K-15K', '北京', '经验不限', '大专', '民营', '20-99人', '最新'], 'https://jobs.zhaopin.com/CC179463422J00231581010.htm', 'https://company.zhaopin.com/CZ179463420.htm')
(['中级', 'Python', '开发工程师', '立即沟通', '', '广州市通证科技有限公司', '15K-25K', '北京-朝阳区', '3-5年', '本科', '民营', '20-99人', '求贤若渴', '弹性工作', '绩效奖金', '五险一金', '年终分红', '全勤奖', '最新'], 'https://jobs.zhaopin.com/CC713032630J00375011608.htm', 'https://company.zhaopin.com/CZ713032630.htm')
(['Python开发工程师', '立即沟通', '', '北京富益辰医疗科技有限公司', '10K-20K', '北京', '3-5年', '大专', '民营', '20-99人', '五险一金', '股票期权', '弹性工作', '创业公司', '项目奖金', '最新'], 'https://jobs.zhaopin.com/CC817853350J00212879211.htm', 'https://company.zhaopin.com/CZ817853350.htm')
(['Python开发工程师', '立即沟通', '', '中国电信股份有限公司云计算分公司', '20K-40K', '北京', '5-10年', '本科', '国企', '100-499人', '工作环境好', '同事很nice', '人际关系好', '招聘中'], 'https://jobs.zhaopin.com/CC469890314J00097657814.htm', 'http://special.zhaopin.com/bj/2012/dxyjs051152/index.html')
(['遥感算法（C/C++、Python）-气象、生态遥感', '立即沟通', '', '中科星图股份有限公司', '13K-25K', '北京-海淀区', '1-3年', '硕士', '股份制企业', '500-999人', '节日福利', '工作居住证', '全额公积金', '试用期全额', '住房补贴', '最新'], 'https://jobs.zhaopin.com/CC142710115J00123274915.htm', 'http://special.zhaopin.com/pagepublish/14271011/index.html')
(['Python开发工程师', '立即沟通', '', '京北方信息技术股份有限公司', '10K-15K', '北京', '5-10年', '本科', '民营', '10000人以上', '同事很nice', '工作环境好', '人际关系好', '氛围活跃', '团队执行强', '招聘中'], 'https://jobs.zhaopin.com/CC315847111J00199791113.htm', 'https://company.zhaopin.com/CZ315847110.htm')
(['Python高级爬虫工程师', '立即沟通', '', '天宇正清科技有限公司', '12K-20K', '北京', '3-5年', '本科', '民营', '100-499人', '五险一金', '员工旅游', '节日福利', '不加班', '带薪年假', '最新'], 'https://jobs.zhaopin.com/CC173534914J00200697110.htm', 'https://company.zhaopin.com/CZ173534910.htm')
(['Python开发工程师', '立即沟通', '', '绫致时装（天津）有限公司/Bestseller', 'Fashion', 'Group', '(Tianjin)', 'Co.,Ltd', '薪资面议', '北京', '5-10年', '本科', '外商独资', '10000人以上', '工作环境好', '氛围活跃', '同事很nice', '团队执行强', '准时发工资', '最新'], 'https://jobs.zhaopin.com/CC000423265J00085223913.htm', 'http://special.zhaopin.com/bj/2010/lzsz032322/index.htm')
(['【腾讯云】Python后端开发工程师', '立即沟通', '', '中软国际科技服务有限公司', '薪资面议', '北京-昌平区', '3-5年', '本科', '上市公司', '10000人以上', '五险一金', '年底双薪', '绩效奖金', '加班补助', '全勤奖', '招聘中'], 'https://jobs.zhaopin.com/CC508620126J00448682605.htm', 'https://company.zhaopin.com/CZ508620120.htm')
(['高级C/C++/Python开发工程师', '立即沟通', '', '北京霍因科技有限公司', '20K-30K', '北京', '3-5年', '本科', '民营', '20-99人', '五险一金', '绩效奖金', '股票期权', '带薪年假', '弹性工作', '最新'], 'https://jobs.zhaopin.com/CC608050080J00210443014.htm', 'https://company.zhaopin.com/CZ608050080.htm')
(['Python高级/资深开发工程师', '立即沟通', '', '郑州米巢信息技术有限公司', '20K-30K', '北京', '1-3年', '本科', '民营', '100-499人', '五险一金', '年底双薪', '绩效奖金', '加班补助', '餐补', '最新'], 'https://jobs.zhaopin.com/CCL1227383970J00220144214.htm', 'https://company.zhaopin.com/CZL1227383970.htm')
(['高薪/Python开发工程师', '立即沟通', '', '郑州龙格信息科技有限公司', '15K-20K', '北京', '1-3年', '本科', '民营', '20-99人', '五险一金', '年底双薪', '绩效奖金', '年终分红', '带薪年假', '最新'], 'https://jobs.zhaopin.com/CCL1227389160J00207176315.htm', 'https://company.zhaopin.com/CZL1227389160.htm')  

##### 插入mogodb 的数据的  _id 是唯一值,如果重复插入,那么就会报错.

pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection: zhilian.test index: _id_ dup key: { _id: "python实习1" }

根据特定值查询后结果为
query = {"_id": "python实习1"}
col = mydoc.find(query)
type(col)
<class 'pymongo.cursor.Cursor'>

该查询游标类型只能使用一次,如果再次递归打印需要再次查找
for i in col:
    print(i)
    
    
col = mydoc.find(query)
for i in col:
    print(i)
    print(type(i))
    
{'_id': 'python实习1', 'salary': '4K-5K', 'address': '北京海淀区', 'workingExp': '无经验', 'eduLevel': '本科', 'welfare': '求贤若渴 弹性工作 远程办公 公司重点项目', 'company': {'name': '北京掌控世代科技有限公司1', 'type': '民营', 'size': '20-99人', 'url': 'https://company.zhaopin.com/CZ241742980.htm'}, 'plan': '招1人', 'job_highlights': '弹性工作 远程办公 公司重点项目', 'job_describtion': '', 'job_address': '海淀区上地东路1号盈创动力E座302A', 'crawltime': '20200216'}
<class 'dict'>

对已经获取的网页源码使用beautifulsoup 获取数据

##保存网页源码
import pymongo
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.Firefox()
driver.get("https://sou.zhaopin.com/?jl=530&kw=Python&kt=3")
driver.page_source  
f = open("/home/baixiaoxu/desk/zhilian.html", "w")
f.write(driver.page_source)


from bs4  import BeautifulSoup
soup = BeautifulSoup(open("/home/baixiaoxu/desk/zhilian.html"), "html.parser")




#################################################################################
from bs4 import  BeautifulSoup
soup = BeautifulSoup(open("/home/baixiaoxu/desk/zhilian.html"), "html.parser")
jobitemstemp = soup.select(".contentpile__content__wrapper__item")  ##获取job div  块共90 个 列表
len(jobitemstemp)   90 

#jobname
jobitemstemp[0].select_one(".contentpile__content__wrapper__item__info__box__jobname__title").get_text().strip().replace(' ','') '大数据分析工程师'
#公司名称
jobitemstemp[0].select_one(".contentpile__content__wrapper__item__info__box__cname__title").get_text().strip().replace(' ','')
#获取joburl
jobitemstemp[0].select_one('a[href^="https://jobs.zhaopin.com/"]').attrs["href"]  #或
jobitemstemp[0].select_one("a[class='contentpile__content__wrapper__item__info']").attrs["href"]
#  和公司url 
jobitemstemp[0].find('a', attrs={"class": "contentpile__content__wrapper__item__info__box__cname__title"}).attrs["href"]

##公司区域
jobitemstemp[0].select_one(".contentpile__content__wrapper__item__info__box__job__demand__item").get_text().strip().replace('-', '').replace(' ', '')

#公司区域   经验  学历
quyu, exp, edu = [i.get_text().strip().replace(' ', '')  for i in jobitemstemp[0].select(".contentpile__content__wrapper__item__info__box__job__demand__item")]
quyu
'北京-海淀区'
exp
'3-5年'
edu
'本科'


#公司性质
jobitemstemp[0].select_one(".contentpile__content__wrapper__item__info__box__job__comdec__item").get_text().strip() 
国企
#公司规模
[i.get_text().strip() for i in jobitemstemp[0].select(".contentpile__content__wrapper__item__info__box__job__comdec__item")]
['国企', '500-999人']


##公司福利
jobitemstemp[0].select_one(".job_welfare").get_text().strip()

爬取数据存储第一版

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2/19/20 2:24 PM
# @Author  : yon
# @Email   : 0@qq.com
# @File    : mongodb.py


import json
import time
import pymongo
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

class HandleMongodb(object):
    def __init__(self, ip, name, col):
        self.dbaddress = 'mongodb://{}:27017/'.format(ip)
        self.dbname = name
        self.dbcol = col
        self.doc = self.db_isexists()

    def db_isexists(self):
        try:
            myclient = pymongo.MongoClient(self.dbaddress)
            mydb = myclient[self.dbname]
            return mydb[self.dbcol]
        except Exception as e:
            raise Exception("ERROR :init db!")

    def insert_one(self, dic):
        try:
            result = self.doc.insert_one(dic)
            if result.inserted_id:
                return True
            else:
                return False
        except:
            return False

    def insert_many(self, dics):
        try:
            lens = len(dics)
            results = self.doc.insert_many(dics)
            if len(results.inserted_ids) == lens:
                return True
            else:
                return False
        except:
            return False

    def modify(self, query, tochange):
        # moodify one item
        newvalue = {"$set": tochange}
        modifyresult = self.doc.update_one(query, newvalue)
        if modifyresult.modified_count:
            return True
        else:
            return False

    def doc_isexists(self, dicisexists):
        # dicisexists = { "name": "RUNOOB" }
        if self.doc.find(dicisexists).count() > 0:
            return True
        else:
            return False

    def doccounts(self):
        return self.doc.count()


def crawlezhlian():
    dbip = "192.168.0.140"
    dbname = "zhilian"
    doc = "test"
    crawleurl = "https://sou.zhaopin.com/?jl=530&kw=Python&kt=3"
    crawleurls = [crawleurl, crawleurl + "&p=2", crawleurl + "&p=3"]
    mongodb_instance = HandleMongodb(dbip, dbname, doc)
    driver = webdriver.Firefox()
    for url in crawleurls:
        time.sleep(15)
        driver.get(url)
        driver.refresh()  # 刷新弹出的窗口
        driver.implicitly_wait(10)  # 隐式等待10s
        # driver.fullscreen_window()
        jobitemstemp = driver.find_elements_by_class_name("contentpile__content__wrapper__item")
        jobitems = [i.text.replace("
", " ").split(sep=" ") for i in jobitemstemp]
        joburlstemp = driver.find_elements_by_xpath('//*[@id="listContent"]/div/div/a')
        joburls = [url.get_attribute("href") for url in joburlstemp]
        companyurlstemp = driver.find_elements_by_xpath('//*[@id="listContent"]/div/div/a/div[1]//a')
        companyurls = [url.get_attribute("href") for url in companyurlstemp]
        itemstemp = zip(jobitems, joburls, companyurls)
        for itemtemp in itemstemp:
            itemtemplate = {'_id': itemtemp[0][3],
                            'jobname': itemtemp[0][0],
                            'salary': itemtemp[0][4],
                            'jobarea': itemtemp[0][5],
                            'workingExp': itemtemp[0][6],
                            'eduLevel': itemtemp[0][7],
                            'welfare': itemtemp[0][10:-2],
                            'company': {'name': itemtemp[0][3],
                                        'type': itemtemp[0][8],
                                        'size': itemtemp[0][9],
                                        'url': itemtemp[2],
                                        'job_address': '',
                                        },
                            'plan': '',
                            'job_highlights': '',
                            'job_describtion': '',
                            'crawltime': ''
                            }
            if mongodb_instance.insert_one(itemtemplate):
                print("{} 数据添加成功!".format(itemtemp[0][3]))
            else:
                print("{} 数据已存在!".format(itemtemp[0][3]))
    driver.close()


if __name__ == '__main__':
    crawlezhlian()


###################
问题:数据格式不纯净,导致保存有误,数据数量缺失

代码第二版

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2/19/20 2:24 PM
# @Author  : yon
# @Email   : @qq.com
# @File    : mongodb.py


import json
import time
import pymongo
from selenium import webdriver
from bs4 import BeautifulSoup
import time
class HandleMongodb(object):
    def __init__(self, ip, name, col):
        self.dbaddress = 'mongodb://{}:27017/'.format(ip)
        self.dbname = name
        self.dbcol = col
        self.doc = self.db_isexists()

    def db_isexists(self):
        try:
            myclient = pymongo.MongoClient(self.dbaddress)
            mydb = myclient[self.dbname]
            return mydb[self.dbcol]
        except Exception as e:
            raise Exception("ERROR :init db!")

    def insert_one(self, dic):
        try:
            result = self.doc.insert_one(dic)
            if result.inserted_id:
                return True
            else:
                return False
        except:
            return False

    def insert_many(self, dics):
        try:
            lens = len(dics)
            results = self.doc.insert_many(dics)
            if len(results.inserted_ids) == lens:
                return True
            else:
                return False
        except:
            return False

    def modify(self, query, tochange):
        # moodify one item
        newvalue = {"$set": tochange}
        modifyresult = self.doc.update_one(query, newvalue)
        if modifyresult.modified_count:
            return True
        else:
            return False

    def doc_isexists(self, dicisexists):
        # dicisexists = { "name": "RUNOOB" }
        if self.doc.find(dicisexists).count() > 0:
            return True
        else:
            return False

    def doccounts(self):
        return self.doc.count()


def crawlezhlian():
    dbip = "192.168.0.140"
    dbname = "zhilian"
    doc = "new"
    crawleurl = "https://sou.zhaopin.com/?jl=530&kw=Python&kt=3"
    # crawleurls = ["https://sou.zhaopin.com/?jl=530&kw=Python&kt=3", "https://sou.zhaopin.com/?p=2&jl=530&kw=Python", "https://sou.zhaopin.com/?p=3&jl=530&kw=Python&kt=3"]
    crawleurls = ["https://sou.zhaopin.com/?jl=530&kw=Python&kt=3", "https://sou.zhaopin.com/?p=2&jl=530&kw=Python&kt=3", "https://sou.zhaopin.com/?p=3&jl=530&kw=Python&kt=3"]
    mongodb_instance = HandleMongodb(dbip, dbname, doc)
    driver = webdriver.Firefox()
    for url in crawleurls:
        print("开始获取url {}".format(url))
        time.sleep(10)
        driver.get(url)  # 刷新弹出的窗口
        # driver.implicitly_wait(20)  # 隐式等待10s
        driver.refresh()
        driver.implicitly_wait(30)
        time.sleep(20)
        # driver.fullscreen_window()
        soup = BeautifulSoup(driver.page_source, "html.parser")
        jobitemstemp = soup.select(".contentpile__content__wrapper__item")
        for item in jobitemstemp:
            jobname = item.select_one(".contentpile__content__wrapper__item__info__box__jobname__title").get_text().strip().replace(' ', '')
            salary = item.select_one(".contentpile__content__wrapper__item__info__box__job__saray").get_text().strip()
            companyname = item.select_one(".contentpile__content__wrapper__item__info__box__cname__title").get_text().strip().replace(' ','')
            joburl = item.select_one("a[class='contentpile__content__wrapper__item__info']").attrs["href"]
            companyurl = item.find('a', attrs={"class": "contentpile__content__wrapper__item__info__box__cname__title"}).attrs["href"]
            companyarea, exp, edu = [i.get_text().strip().replace(' ', '') for i in item.select(".contentpile__content__wrapper__item__info__box__job__demand__item")]
            companytype, companysize = [i.get_text().strip() for i in item.select(".contentpile__content__wrapper__item__info__box__job__comdec__item")]
            try:
                welfare = item.select_one(".job_welfare").get_text().strip()
            except:
                print("{} {} 福利数据为空!".format(companyname, jobname))
                welfare = ""

            itemtemplate = {'jobname': jobname,
                            'salary': salary,
                            'jobarea': companyarea,
                            'workingExp': exp,
                            'eduLevel': edu,
                            'welfare': welfare,
                            'joburl': joburl,
                            'company': {'name': companyname,
                                        'type': companytype,
                                        'size': companysize,
                                        'url': companyurl,
                                        'job_address': '',
                                        },
                            'plan': '',
                            'job_highlights': '',
                            'job_describtion': '',
                            'crawltime': time.asctime()
                            }

            if mongodb_instance.insert_one(itemtemplate):
                print("{} {} 数据添加成功!".format(companyname, jobname))
            else:
                print("{} {}数据已存在!".format(companyname, jobname))
    driver.close()


if __name__ == '__main__':
    crawlezhlian()

进入job详情页完善数据库数据

##首先获取数据库url
x = mydoc.find({},{"_id": 0, "joburl": 1})  #得到游标,需要循环获取

import json 
jsontmp = json.dumps({'joburl': 'https://jobs.zhaopin.com/CC702428727J00195978909.htm'})  #对循环获取的数据获取url
jsonx = json.loads(jsontmp)
jsonx.get("joburl")
'https://jobs.zhaopin.com/CC702428727J00195978909.htm'  ##添加到指定的列表等待抓取



###抓取后保存



##

进入公司详情页获取数据

##进入职位详情页面
https://jobs.zhaopin.com/CC493150925J00209948410.htm
x = driver.find_element_by_xpath('//*[@id="root"]/div[3]/div/div/div[2]/div[1]/ul/li[4]')
x.text
招1人


职位亮点
light = driver.find_element_by_xpath('//*[@id="root"]/div[4]/div[1]/div[1]/div[1]/div')
light.text
'五险一金'

职位描述
desc = driver.find_element_by_xpath('//*[@id="root"]/div[4]/div[1]/div[1]/div[2]')
desc.text
'职位描述
技能要求：
Python
职位介绍:
负责共享出行业务运营活动专项的开发工作，主要涉及共享出行优惠、卡券、运营活动等系统的设计和开发，既要保证系统支持需求的灵活性，同时还要保证C端用户的体验以及系统性能和稳定性，是很有挑战性的
技能重点关注:
1.熟悉 python 语言开发，具有在线服务开发经验者优先； 2.熟悉web开发框架（django/tornado/flask），熟悉Linux操作系统及shell编程，能够使用HTML，CSS，JavaScript等基本前端技术； 3.熟悉mysql，redis，mongo等常用数据库，具有数据库开发和设计能力； 4.了解异步框架、集群与负载均衡，消息中间件，容灾备份等技术优先； 5.善于学习，具有良好的分析和解决问题的能力; 6.有全栈开发经验或大型在线服务开发经验优先。'


工作地点
address = driver.find_element_by_xpath('//*[@id="root"]/div[4]/div[1]/div[1]/div[3]/div/span')
address.text
'广东省珠海市唐家湾软件园2号'

获取公司名称,根据公司名称完善已经存储的文档
namecom = driver.find_element_by_xpath('//*[@id="root"]/div[4]/div[2]/div[2]/div[3]/a[1]')
namecom.text
'北京汉克时代科技有限公司'

修改数据库指定数据

update = mydoc.update_one(y, test)
update.modified_count
1   被修改的文档数目


y  符合给条件的文档则修改
test 修改的数据
test = { "$set": {'plan': "1", 'job_describtion': '职位描述
技能要求：
Python
职位介绍:
负责共享出行业务运营活动专项的开发工作，主要涉及共享出行优惠、卡券、运营活动等系统的设计和开发，既要保证系统支持需求的灵活性，同时还要保证C端用户的体验以及系统性能和稳定性，是很有挑战性的
技能重点关注:
1.熟悉 python 语言开发，具有在线服务开发经验者优先； 2.熟悉web开发框架（django/tornado/flask），熟悉Linux操作系统及shell编程，能够使用HTML，CSS，JavaScript等基本前端技术； 3.熟悉mysql，redis，mongo等常用数据库，具有数据库开发和设计能力； 4.了解异步框架、集群与负载均衡，消息中间件，容灾备份等技术优先； 5.善于学习，具有良好的分析和解决问题的能力; 6.有全栈开发经验或大型在线服务开发经验优先。'}}