Scrapy or Requests提交表单

这里我以GitHub登录这个网站为例

https://github.com/login

通过分析，我们可以得知这个网站上post必须带一个参数(用chrome或firefox都能看到表单提交了什么)authenticity_token

然后我们发现authenticity_token这个参数是一直在变的，所以我们需要使用Session会话使得我们的多个请求都在一个Session里，

从而得到相同的authenticity_token

这里补充一个知识点，就是Scrapy怎么debug:https://zhuanlan.zhihu.com/p/25200262

我这里用的第二个方法,就是建一个run.py　　debug

logger:scrapy为每个spider实例内置的日志记录器具体信息参考官网https://doc.scrapy.org/en/latest/topics/logging.html。

总的来说就是Scrapy的Session用meta = {'cookiejar': i}，只要这个cookiejar的值相同，他们就在一个Session里，

Requests的Session用s = requests.Session()（这个时候s就是一个session，我们

只要在一个Session里搞事就行了，比如说s.get(), s.post）

先贴scrapy的code(emmm，这个是spider，大家肯定都知道):

关于scrapy提交表单的中文文档:https://www.rddoc.com/doc/Scrapy/1.3/zh/topics/request-response/

官方文档:https://doc.scrapy.org/en/latest/topics/request-response.html

# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import Request, FormRequest

class GithubSpider(scrapy.Spider):
    name = 'github'
    #allowed_domains = ['github.com']
    #start_urls = ['https://github.com/login']
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36',
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
        'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
        'Accept-Encoding': 'gzip, deflate, br',
        'Referer': 'https://github.com/login',
        'Content-Type': 'application/x-www-form-urlencoded',
    }

    def start_requests(self):
        urls = ['https://github.com/login']
        for i, url in enumerate(urls, 1):
            yield Request(url, meta = {'cookiejar': i}, callback = self.github_parse)

    def github_parse(self, response):
        authenticity_token = response.xpath('//*[@id="login"]/form/input[2]/@value').extract()[0]#or use extract_first
        self.logger.info('authenticity_token=' + authenticity_token)
        return FormRequest.from_response(
            response,
            url = 'https://github.com/session',
            meta = {'cookiejar': response.meta['cookiejar']},
            headers = self.headers,
            formdata = {
                'login':'email',#youremail
                'password':'password',#yourpassword
                'authenticity_token':authenticity_token,
                'utf8':'✓'
            },
            callback = self.github_login,
            # dont_click = True,
            )

    def github_login(self, response):
        data = response.xpath('//*[@id="dashboard"]/div[1]/div[2]/h3/text()').extract_first()
        if data:
            self.logger.info('我已经登录成功了!')
            self.logger.info(data)
        else:
            self.logger.error('登录失败!')

然后是用requests的Session（这个写的比较随意，当初是为了看看对requests的Session理解有没有问题），

不知道的详见文档http://docs.python-requests.org/zh_CN/latest/user/advanced.html#advanced

import requests
# from bs4 import BeautifulSoup
from lxml import etree

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
    'Accept-Encoding': 'gzip, deflate, br',
    'Referer': 'https://github.com/login',
    'Content-Type': 'application/x-www-form-urlencoded',
}

session = requests.Session()
url1 = 'https://github.com/login'
r1 = session.get(url1)
html1 = r1.text
s = etree.HTML(html1)
authenticity_token = s.xpath('//*[@id="login"]/form/input[2]/@value')

url2 = 'https://github.com/session'
formdata = {
    'login':'email',#enter you email
    'password':'password',#enter you password
    'authenticity_token':authenticity_token,
    'utf8':'✓'
}
r2 = session.post(url2, data = formdata, headers = headers)
html2 = r2.text
s2 = etree.HTML(html2)
data = s2.xpath('//*[@id="dashboard"]/div[1]/div[2]/h3/text()')
if data:
    print('Success')
else:
    print('Fail')

再重复一遍

总的来说就是Scrapy的Session用meta = {'cookiejar': i}，只要这个cookiejar的值相同，他们就在一个Session里，

Requests的Session用s = requests.Session(),s.get(), s.post