结合pychrom与selenium实现页面自动登录

缘起

一直在浏览器里用Katalon插件录制一些常用的流程，以减少重复操作，也就自然而然想自己搞搞自动化测试，但无奈登录一关跨不过去，就无法串起来。（不想让开发添加万能验证码的功能）首先想到的是识别验证码。用selenium模拟登录时，验证码一关实在过不了。无论怎么处理验证码图片，tesseract识别率还是太低，完全不可用。看到有机器学习提高验证码识别率的例子，但觉得实在太麻烦，就没有研究，搁置了一段时间。最近发现在登陆时，后台发起了2个请求。先是Get_VerifyCode，获得verifyCode和backEndKey，然后是Post_Authenticate，并传入用户名，md5加密后的密码，verifyCode和backEndKey。登录成功后，后台会返回token。登录后访问页面，请求头中就都有Authorization字段，后台会根据id和authorization发给权限。

我就想如果能先用Get_VerifyCode获取verifyCode和backEndKey，然后把加上其它信息，对Post_Authenticate发起请求，这样不就能登录成功了吗？先写好用到的方法，然后再发起用requests发起请求吧。结果是不成功。验证码虽然能获得，但Post_Authenticate总是返回500错误。原因是什么呢？第一次是猜测，是不是参数不对，用response.url查看响应的url，怎么参数没在里面？查询后知道，要给requests.post()传参数，得用params（keyword argument），不能用data。修改后再尝试，还是不行。再查询，可能是请求头不对，就用Chrome dev tools查看请求头。在请求Post_Authenticate时，给加上了几个。结果不行。再查，有人说一定要把请求头给加全了，一个都别缺，下面也有人回复有用。难道不能偷懒，不能只在请求头里加user-agent？补齐请求头后，还是不行。容我想想。是不是在获取验证码时就得加上，不然拿到的backEndKey也是无效的，试了，不行。观察下请求头吧。获取验证码时，有个cookie字段，是不是应该拿到cookie，然后放到2个请求的请求头中？怎么获取cookie呢？我发现打开登录页面后，发起的请求里就有cookie字段了。我想到的第一个办法是，用selenium模拟登录，用get_cookies()方法，试了，可以，但Post_Authenticate还是不通。第二个办法是，用requests发起请求后，也能在返回值里取到cookie，试了，可以，但最后还是一样的问题。请求走不通，难道是requests库的问题，于是又试了下urllib库。一样的结果。这么一圈下来还是解决不了，想想能能不能换个思路。能不能在页面上登录，但又用Get_VerifyCode获取验证码呢？试了，不行，根本就不是一次请求，获得了验证码也不可用。因为backendky不一致。那能不能selenium登录浏览器后，执行js脚本发起请求，就好像在页面上点击了验证码，也能更新验证码呢？奈何行不通。还是因为backendkey不一致。

在selenium模拟登录后，页面上点击验证码图片，在去监控网络请求，拿到Get_verifyCode的返回值，这样也能解决问题。于是就去搜索selenium capture net traffic，翻来拣去，总算是看到相关的。可以让selenium在启动后，打开一个dev tools，不过主要能用来观测浏览器性能。又看到chrome devtool protocol，似乎可行，就安装了python的对它的实现pychrome，想执行例子试试，但有报错。按最后给出的错误信息，有说关闭防火墙，有说把把代理设置改为自动，有说用cmd的命令行执行，有说是pycharm的问题，一一试了试，无一可行。

错误信息往前追溯，看到是urllib3报错，搜索后还是没解决。再往前看是socket问题，还是不行。
让我想想，之前有人遇到的类似问题是，服务端没有开启监听，所以客户端访问时，就会提示目标计算机拒绝了请求。
由于pychrome库，实例化Browser对象后，监听的是9222端口，会不会是9222端口的服务端问题呢，也就是浏览器设置的问题呢？这会用baidu吧，搜索“9222端口”，第一个就是
设置Chrome远程调试接口，是给前端打断点调试用的。试试看吧，总算可行，pychrome库能用了。

又了解了下chrome dev protocol，尝试了pychrome里的各种方法，试图捕捉到Get_verifyCode请求的返回值
试了多个方法，看了github仓库中提供的例子，总算弄好了
接下来的问题就变成了，怎么把selenium和pychrome结和起来，这样既能让selenium来做自动化操作，
又能使用pychrome监控请求。分开使用时，两个库都是会生成各自的浏览器实例，互不相干，

莫名其妙，执行写好的代码就不能用了，会提示chrome unreachable。

以为是chrome自动升级了，导致webriver不匹配，下载了新的webdriver，不行。
更新chrome时发现，原来自己早把chrome自动更新给停了，就更新到了75，又换了chromedriver，不行。
再查，有人说是hosts的问题，没有填入127.0.0.1和localhost的映射，打开hosts查看，已经有了，不是这个问题。
再查，有人说是代码中的webdriver配置问题，改了后不行。中间还遇到常用的js代理走不通，谷歌访问助手不能用的情况，又调了下这个问题。
再查，有人说防火墙问题，仍然不行。
停下俩想想吧，是不是浏览器的问题呢？以remote-debugging模式打开chrome，访问不到9222端口。用telnet local 9222命令，也是不通。
可能是浏览器问题吧。实在是查不到相关信息了，只能想到浏览器重装大法。查询中，记得看到过chrome canary的信息，就查了下，原来是类似nightly的版本，
就装了下，是77版。以远程调试模式，打开chrome canary后，发现可以访问到9222端口。再打开chrome stable版，发现居然也可以了。
试着卸载了canary版本，又不行了，只得再装回来。可是网络突然又不好了，无论如何都下载不成功。第二天到了公司，重装了下，总算原来的代码可以用了
我真的很困惑，问题不知道为什么就发生了，也不知道为什么就解决了。
卡在某处，就想一次性解决，不拖到下次。可是总会遇到各种各样的问题。要解决一个问题，查询后发现得先解决另一个问题，预置了前提，而前提又未必一定导向
原本的问题，于是就有了两个问题。以此类推，问题像锁链一样，一环套一环。卸掉一环，未必就能离原本的问题近一点，但却只能如此。

代码

from selenium import webdriver
import pychrome
import json
import subprocess
import time
from data import *
from commons import EventHandler, Task
import os
from action import Action
from action import *


class ChromeClient(object):
    options = webdriver.ChromeOptions()
    options._debugger_address = "localhost:9222"
    # options.add_argument('--remote-debugging-port=9222')

    def __init__(self):
        # 原来用os.popen时不时就报错，打开的chrome一直无响应，改为用subprocess后就没报错了
       21         # os.popen(CHROME_CMD)

        subprocess.Popen(CHROME_CMD)
        self.browser = pychrome.Browser()
        self.driver = webdriver.Chrome(executable_path=r'C:Python36chromedriver.exe', chrome_options=ChromeClient.options)
        self.driver.implicitly_wait(30)
        self.tab = None
        self.event = None
        self.token = None
        
        # self.driver.get('about:blank')

    def monitor(self):
        self.tab = self.browser.list_tab()[0]
        self.tab.start()
        self.tab.Page.enable()
        self.tab.Network.enable()
        # self.tab.Page.enable()
        self.event = EventHandler()
        self.tab.Network.requestWillBeSent = self.event.on_request_will_be_sent
        self.tab.Network.responseReceived =  self.event.on_response_received
        print('----Requests are being monitored....')
        return True

    def naivigate(self, url):
        self.tab.Page.navigate(url=url)
        time.sleep(2.5)
        print('----Navigate to ',  url)

    def get_code_from_request(self, requestId):
        try:
            _response = self.tab.Network.getResponseBody(requestId=requestId)
            _response_content = _response.get('body')
            _response_dict = json.loads(json.loads(_response_content))
            _verifyCode_str = _response_dict.get('data').get('verifyCode')
            print("----Verifycode ", _verifyCode_str)
            return _verifyCode_str
        except Exception as e:
            return False

    def get_token_from_request(self, requestId):
        time.sleep(2)
        _response = self.tab.Network.getResponseBody(requestId=requestId)
        print(_response)
        _response_content = _response.get('body')
        _response_dict = json.loads(json.loads(_response_content))
        _token = _response_dict.get('data').get('tokenID')
        self.token = ''.join(['BasicAuth ', _token])
        print("----Token ", self.token)
        return self.token

    def login(self, username, password, verifycode):
        _driver = self.driver
        _username_input = _driver.find_element_by_name("username")
        _password_input = _driver.find_element_by_name("password")
        _verifycode_input = _driver.find_element_by_name("verificationCode")

        Task.delete_text(_username_input)
        _username_input.send_keys(username)
        Task.delete_text(_password_input)
        _password_input.send_keys(password)
        _verifycode_input.send_keys(verifycode)

        for _element in _driver.find_elements_by_css_selector('span'):
            if "登录" in _element.text:
                _driver.execute_script("arguments[0].click();", _element)
        # self.tab.wait(2.5)
        # _driver.execute_script('alert(1);')
        # _driver.execute_script("arguments[0].click();", login_span)


if __name__ == '__main__':
    host = 'ppm-test'
    role = 'la'
    no = 0

    client = ChromeClient()
    client.monitor()
    client.naivigate(url=LOGIN_URLS[host])
    verifycode = client.get_code_from_request(client.event.request_id)
    client.login(username=USERS[role][no][0], password=USERS[role][no][1], verifycode=verifycode)
    token = client.get_token_from_request(client.event.request_id)

感想

即便是花了很多时间把登录搞好了，之后各类流程却又是个问题。各个业务用到的接口数据，复杂繁多，而且有诸多限制。况且录制的代码，常常无法直接变成selenium代码，嵌在项目里，往往还有经过多轮调试，还不一定能用。UI自动化测试收益果然不高。瞎折腾实在是费心费力。

 

参考文章

https://div.io/topic/1464

https://testerhome.com/topics/16526

https://testerhome.com/topics/16222

https://testerhome.com/topics/15817

https://blog.csdn.net/crisschan/article/details/79970813