day2之爬取拉勾网

认证流程

浏览器清空cookies

步骤一 　　

　　访问拉勾网网站  https://www.lagou.com/

　　做了些什么：

　　　　以get方式请求"https://www.lagou.com/"后，服务器在preview返回的信息包含了 X_Anti_Forge_Token，X_Anti_Forge_Code。

　　　　同时返回cookies，因为用requests.session()，所以cookies不考虑。

　　目标：拿到X_Anti_Forge_Token，X_Anti_Forge_Code。

　　

　　　

　　应该对应的是不规则字符串，存疑！

步骤二

　　登录，先故意输错账户名，密码输对。获取其加密后的数据。拉勾网对密码进行了处理。

　　

　　

　　然后，将步骤一拿到的X_Anti_Forge_Token，X_Anti_Forge_Code，和用户名，密码 一起，往" https://passport.lagou.com/login/login.json "以post方式发送。

步骤三

　　以 get请求 往grant.html发送请求。

　　作用：获取授权。可能拉勾网比较特殊。

　　

步骤四  验证

　　　　访问登录后的某个页面，response.text 拿到数据，判断页面上的某条数据在不在这response.text中。

补充：上述都是用requests.session()做到，所以过程中cookies 让requests模块帮我们处理了。

　　　　get，post请求中的User Agent，Referer，具体情况具体填写。

爬取职位信息流程

步骤一 

　　页面进行筛选，url地址栏如果有汉字，真正访问的url会进行编码。条件会以  ？关键字=条件    追加在url末尾。

　　

关键来了，然而，在浏览器返回给我们的数据中，和前端页面渲染的并不一致！竟然找不到！

原因何在？

服务器返回来的数据中会有ajax请求，浏览器会自动帮我们完成ajax请求，但是requests模块并不会！

so，在抓包中找到ajax，即XHR。

这里才是数据真正存放的地方！

在previes中查找到数据。

数据的格式是字典。

到这里，就可以循环遍历，拿到想要的数据了。

注意，在拉勾网上，positionID，很重要。

 

我们可以根据拉勾网，和positionID，拼接出相对应的工作在拉勾网上的站点。

为投简历这个最终目标最准备。

最后一步。投简历。

拿到相关工作的绝对路径后，刷出页面，不要忘了一步，需要拿到 X_Anti_Forge_Token，X_Anti_Forge_Code。

然后，当我们点击"投个简历"的时候，network会刷出一个 deliverResumeBeforce.json。

投简历实际上是往 deliverResumeBeforce.json 发了一个post请求。这就算投递成功。惊不惊喜。但需要data数据，和上一步拿到的X_Anti_Forge_Token，X_Anti_Forge_Code等。

　

补充：post请求，一般都会有data要发送。

　　　get请求，post请求，在这里不出意外都需要referer，user_agent,不再多言。

 　　　感受到了吗，当点击 注册，投个简历，等需要用post方式访问网址，会与前一步get方式访问页面紧密相关。post方式，会用到get方式所返回的某些token，这些token是必不可少的。

回顾讲解时的反思：　

　　grant.html，对其发送get请求，当response 里有location，requests模块自动跳转，不用管了。

　　后台会发的页面会包含ajax请求，requests不会识别。下载的页面并不含有想要的结果，那就有可能含有ajax请求。应该开心，因为会更方便。
　　用response.json()直接拿到字典格式的数据。套了好几层的字典。
　　so，去找浏览器的抓包，看抓到是ajax请求的包，XHR便是。
　　在这种情况下，请求的url是...Ajax.json,而不是地址栏中的list_python?city=北京...

　　关键是这个Ajax.json是怎么来的呢？
　　在我们原以为刷新list_python?...的情况下，response.text含有前端的所有信息，其实并不然。
　　在浏览器看到的，和response.text并不一样。so，我们考虑到 浏览器用ajax将一部分数据渲染出来。于是，去找ajax请求数据的网址，那里有我们
　　需要的网址数据。

附上原始代码，并不完全一样。

import requests
import re

# 1、============================================认证流程
session = requests.session()
# 第一步：
# 请求的URL：https://passport.lagou.com/login/login.html，
# 请求的方法GET，
# 请求头只包含User-agent

r1 = session.get('https://passport.lagou.com/login/login.html',
                 headers={
                     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
                 },
                 )

X_Anti_Forge_Token = re.findall("X_Anti_Forge_Token = '(.*?)'", r1.text, re.S)[0]
X_Anti_Forge_Code = re.findall("X_Anti_Forge_Code = '(.*?)'", r1.text, re.S)[0]
# print(X_Anti_Forge_Code)
# print(X_Anti_Forge_Token)


# 第二步：
# 1、请求的URL:https://passport.lagou.com/login/login.json,
# 2、请求方法POST，
# 3、请求头：
#   Referer:https://passport.lagou.com/login/login.html
#   User-Agent:
#   X-Anit-Forge-Code
#   X-Anit-Forge-Token
#   X-Requested-With
# 4、请求体：
# isValidate:true
# username:1111111111
# password:70621c64832c4d4d66a47be6150b4a8e #代表明文密码alex3714
session.post('https://passport.lagou.com/login/login.json',
             headers={
                 'Referer': 'https://passport.lagou.com/login/login.html',
                 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
                 'X-Anit-Forge-Code': X_Anti_Forge_Code,
                 'X-Anit-Forge-Token': X_Anti_Forge_Token,
                 'X-Requested-With': 'XMLHttpRequest'
             },
             data={
                 'isValidate': True,
                 'username': '18611453110',
                 'password': '70621c64832c4d4d66a47be6150b4a8e'
             }
             )

# 第三：
# 1、请求的URL:https://passport.lagou.com/grantServiceTicket/grant.html,
# 2、请求方法GET，
# 3、请求头：
#   Referer:https://passport.lagou.com/login/login.html
#   User-Agent:

session.get('https://passport.lagou.com/grantServiceTicket/grant.html',
            headers={
                'Referer': 'https://passport.lagou.com/login/login.html',
                'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
            }
            )

# 验证
response = session.get('https://www.lagou.com/resume/myresume.html',
                       headers={
                           'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
                       }
                       )

# print('18611453110' in response.text)



# 2、============================================爬取职位信息
# 1、请求的url：https://www.lagou.com/jobs/positionAjax.json
# 2、请求的方式：POST
#   请求参数：
#     gj:3年及以下
#     xl:不要求
#     jd:不需要融资
#     hy:移动互联网
#     px:default
#     yx:15k-25k
#     city:全国
# 3、请求头：
# User-Agent
# Referer:https://www.lagou.com/jobs/list_%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD
# X-Anit-Forge-Code:0
# X-Anit-Forge-Token:None
# X-Requested-With:XMLHttpRequest

# 4、请求体：
# first:true
# pn:1
# kd:python数据分析

from urllib.parse import urlencode

params = {'kw': 'python数据分析'}
res = urlencode(params).split('=')[-1]
url = 'https://www.lagou.com/jobs/list_' + res
# print(url)


response = session.post('https://www.lagou.com/jobs/positionAjax.json',
                        params={
                            # 'gj': '3年及以下',
                            # 'xl': '不要求',
                            # 'jd': '不需要融资',
                            # 'hy': '移动互联网',
                            'px': 'default',
                            'yx': '15k-25k',
                            'city': '北京',
                            'district': '海淀区',

                        },
                        headers={
                            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
                            'Referer': url,

                        })

# print(response.status_code)
result = response.json()['content']['positionResult']['result']
for comanpy_info in result:
    fullname = comanpy_info['companyFullName']
    emp_num = comanpy_info['companySize']
    salary = comanpy_info['salary']
    workyear = comanpy_info['workYear']
    positionName = comanpy_info['positionName']
    positionId = comanpy_info['positionId']
    detail_url = 'https://www.lagou.com/jobs/%s.html' % (positionId)

    print(detail_url)
    print(fullname)
    print(emp_num)
    print(salary)
    print(workyear)
    print(positionName)
    print(positionId)
    print()

    # 3、============================================爬取职位信息
    # 第一步：请求详情页：
    # 1、请求的detail_url：https://www.lagou.com/jobs/3984845.html
    # 2、请求的方式：GET
    # 3、请求头：
    #    User-Agent
    r1 = session.get(detail_url,
                     headers={
                         'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
                     }
                     )

    X_Anti_Forge_Token = re.findall("X_Anti_Forge_Token = '(.*?)'", r1.text, re.S)[0]
    X_Anti_Forge_Code = re.findall("X_Anti_Forge_Code = '(.*?)'", r1.text, re.S)[0]

    # 第二步：投递简历
    # 1、请求的url：https://www.lagou.com/mycenterDelay/deliverResumeBeforce.json
    # 2、请求的方式：POST
    # 3、请求头：
    # User-Agent
    # Referer:detail_url
    # X-Anit-Forge-Code:31832262
    # X-Anit-Forge-Token:9ee8b4bc-7107-49a0-a205-cedd7e77c2d7
    # X-Requested-With:XMLHttpRequest

    # 4、请求体：
    # 'positionId':3984845
    # 'type':1
    # 'force':True

    session.post('https://www.lagou.com/mycenterDelay/deliverResumeBeforce.json',
                 headers={
                     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
                     'Referer': detail_url,
                     'X-Anit-Forge-Code': X_Anti_Forge_Code,
                     'X-Anit-Forge-Token': X_Anti_Forge_Token,
                     'X-Requested-With': 'XMLHttpRequest'
                 },
                 data={
                     'positionId': positionId,
                     'type': 1,
                     'force': True
                 }

                 )

    print('投递成功',detail_url)