python3爬虫之验证码的识别——selenium自动识别验证码并点击提交，附源代码

https://aq.yy.com/p/reg/account.do?appid=&url=&fromadv=udbclsd_r

yy语音的注册页面，账号、密码、重复密码及提交按钮的实现这里不再讲解，利用selenium非常容易实现

本文只讲解如何识别绿色框里图片中文字的识别，并使用鼠标正确点击

思路：

1. 利用爬虫技术将绿色图片下载到本地

2. 使用第三方工具（本文使用超级鹰）识别图片中的文字，并返回每个文字的坐标位置

3. 根据坐标位置，使用鼠标点击

这么一说是不是显得非常简单啦！那么就一步一步来

1. 搞到这个图片，此处有一坑！

爬虫所下载下来的图片是这样的，应该是将图片切片重新排列了，然后应该是有一定的算法可以重新排列回来

但是这个算法不太好找，并且对于其他类型的网站不一定是通用的

 那么我们换另外一种思路：既然原图搞不来，那么我们就利用截图！

如何截图呢？首先要定位这个元素并且获知其四个点的坐标位置

定位这个元素很简单，直接使用selenium定位class即可

image_element = browser.find_element_by_class_name('pw_subBg')

下面的问题就是获取这个元素四个点的（x，y）坐标或者其他可以确定位置的坐标

通过location方法可以获取这个元素左上角坐标；通过size可以获取这个元素的宽（width）和高（height）

location = image_element.location
size = image_element.size
print(location,size)

输出结果：{'x': 108.5625, 'y': 295} {'height': 128, 'width': 272}

怎样计算呢？下面画出一幅坐标图就清楚明了了！

这里写出了所需位置的四个值（top, bottom, left, right），并且给出了计算公式，如果还看不明白那就帮不了你了诶……

有了位置坐标，再执行截图语句并保存图片到本地就ok了

screenshot = browser.get_screenshot_as_png()
screenshot = Image.open(BytesIO(screenshot))
captcha = screenshot.crop((left,top,right,bottom))
captcha.save('captcha1.png')

验证一下保存的图片，好像截取的位置不太对，那么需要人工去设置一个偏移量

这个偏移量是我大概试出来的，暂没有研究一些好的自动测量方法

top, bottom, left, right = location['y']+128, location['y'] + size['height']+128, location['x']+181, location['x'] + size[
    'width']+181 # 手动测试偏移量

修正后的结果：423 551 289.5625 561.5625

问了度娘，这个偏移量的大小和电脑分辨率、浏览器、是否是无头模式有关系。因此可能每个人运行程序所设置的偏移量都不一样

截图结果如下：（因为每次运行程序都刷新了页面，因此本例中验证码可能不一样）

 

 2. 调用第三方平台识别汉字并且返回所识别汉字的坐标

 前提是已经下好了超级鹰的demo，并调试成功。详见我的文章《》，此次不再详述

但是需要改一个地方就是识别类型，可以改成910x，这个是返回汉字坐标值的

bytes_array = BytesIO()
captcha.save(bytes_array,format('PNG'))
chaojiying = Chaojiying('账户', '密码', '软件id')
result = chaojiying.PostPic(bytes_array.getvalue(),9103)
print(result)

运行结果：{'err_no': 0, 'err_str': 'OK', 'pic_id': '2077320412830000020', 'pic_str': '60,19|109,16|187,92', 'md5': 'c3d41675003cd44058347e591cf405e7'}

看pic_str字段，返回了3个坐标值，用 | 隔开了，需要对这个字符串进行处理

locations = result.get('pic_str').split('|')
for i in locations:
    location = i.split(',')
    print(location)

3. 通过坐标值进行自动化点击操作

ActionChains(browser).move_to_element_with_offset(image_element,int(location[0]),int(location[1])).click().perform()

 当然，仅到这一步还是没有完成的

注册的需求还需要识别右上角的小图中的文字，和大图中的文字做匹配，匹配成功了才点击，不成功的不点击

这里有个坑就是：超级鹰返回的要么是识别的文字，要么是坐标信息，无法同时返回两者。那么，每次返回的是一一对应的吗？这个我们现在来验证一下（为了省积分，用a.jpg）：

首先先运行下

    r1 = chaojiying.PostPic(im, 1902) 
    r2 = chaojiying.PostPic(im, 9004)  # 返回坐标

 运行结果：

r1 = {'err_no': 0, 'err_str': 'OK', 'pic_id': '3077320552830000021', 'pic_str': '7261', 'md5': '265c70b7f6d88426fa2a77a06f450972'}
r2 = {'err_no': 0, 'err_str': 'OK', 'pic_id': '2077320552830000022', 'pic_str': '11,22|28,20|47,21|71,21', 'md5': '82948c8bf04e521

如果需要点击的数字或者汉字也是图片显示的，那么识别过程与大图一样；如果是直接给出了文本那就爬虫直接获取。这个步骤我省略了，这里假定需要点击数字7和2（无顺序）

def vs(list0,dict1,dict2):
    list1 = list(dict1.get('pic_str'))
    list2 = dict2.get('pic_str').split('|')
    print(list1)
    print(list2)
    dd = dict(zip(list1,list2))
    print(dd)
    for i in list0:
        if i in dd:
            x = dd.get(i).split(',')[0]
            y = dd.get(i).split(',')[1]
            print(int(x),int(y))
            # 调用点击的模块

调用结果

28 20
71 21

完美的get到了需要点击数字的坐标

---

源代码（全）

import time
from io import BytesIO
from PIL import Image
from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from chaojiying import Chaojiying


# 初始化变量

EMAIL = 'diaongaodsing'
PASSWORD = 'mindomg301415'
REPASSWORD = PASSWORD

# 超级鹰用户登录名、密码、软件ID、待识别的验证码类型
CHAOJIYING_USERNAME = '用户名'
CHAOJIYING_PASSWORD = '密码'
CHAOJIYING_SOFT_ID = 软件ID
CHAOJIYING_KIND_XY = 9103 # 返回坐标
CHAOJIYING_KIND = 2003 #返回数字、字母或者汉字


class CrackTouClick():

    def __init__(self):
        """

        """
        self.url = 'https://aq.yy.com/p/reg/account.do?appid=&url=&fromadv=udbclsd_r' # 待爬取的页面
        self.browser = webdriver.Chrome()
        self.wait = WebDriverWait(self.browser, 20)
        self.input = EMAIL
        self.password = PASSWORD
        self.repassword = REPASSWORD
        self.chaojiying = Chaojiying(CHAOJIYING_USERNAME, CHAOJIYING_PASSWORD, CHAOJIYING_SOFT_ID)
    # def __del__(self):
    #     """
    #     析构函数，关闭浏览器
    #     """
    #     self.browser.close()
    def login(self):
        """
        打开网页输入用户名、密码和再次验证密码
        :return: None
        """
        self.browser.get(self.url)
        iframe = self.browser.find_elements_by_tag_name("iframe")[0]
        self.browser.switch_to.frame(iframe)

        input = self.browser.find_element_by_xpath('//*[@id="m_mainForm"]/div[2]/div[1]/span[2]/input')
        password = self.browser.find_element_by_xpath('//*[@id="m_mainForm"]/div[2]/div[2]/span[2]/input')
        repassword = self.browser.find_element_by_xpath('//*[@id="m_mainForm"]/div[2]/div[3]/span[2]/input')

        input.send_keys(self.input)
        password.send_keys(self.password)
        repassword.send_keys(self.repassword)
        self.browser.find_element_by_class_name('field_title').click()# 随便找一个地方单击一下，否则无法验证输入是否正确
    def get_image_element(self):
        """
        获取验证图片对象
        :return: 图片对象
        """
        image_element_b = self.browser.find_element_by_class_name('pw_subBg') # 大图
        image_element_s = self.browser.find_element_by_class_name('pw_expic') # 小图
        return image_element_s,image_element_b
    def get_position(self,image_element):
        """
        获取验证码位置
        :return: 验证码位置
        """

        time.sleep(2)
        location = image_element.location
        size = image_element.size
        top, bottom, left, right = location['y'] + 128, location['y'] +  size['height'] + 128, location['x'] + 181, location['x'] + size[
            'width'] + 181
        return (top, bottom, left, right)
    def get_screen_image(self, image_element,name):
        """
        获取验证码截图图片
        :return: 图片对象
        """
        top, bottom, left, right = self.get_position(image_element)
        #print('图片位置', top, bottom, left, right)
        screenshot = self.browser.get_screenshot_as_png()
        screenshot = Image.open(BytesIO(screenshot))
        captcha = screenshot.crop((left, top, right, bottom))
        captcha.save(str(name)+'.png')
        return captcha

    def get_recognation_result(self,image_element,chaojiying_kind):
        """
        用第三方平台超级鹰进行图片识别,返回识别结果
        :return: <dic> 识别结果(需要的字段是‘pic_str’)
        """
        image = self.get_screen_image(image_element,chaojiying_kind)
        bytes_array = BytesIO()
        image.save(bytes_array, format('PNG'))
        recognation_result = self.chaojiying.PostPic(bytes_array.getvalue(),chaojiying_kind)
        print('识别结果：',recognation_result)
        return recognation_result

    # def click_points(self,image_element, recognation_result):
    #     """
    #     解析识别结果并进行点击
    #     :param captcha_result: <dic>第三方识别结果
    #     :return: None
    #     """
    #     locations = recognation_result.get('pic_str').split('|')
    #     for i in locations:
    #         location = i.split(',')
    #         #print(location)
    #         ActionChains(self.browser).move_to_element_with_offset(image_element, int(location[0]),int(location[1])).click().perform()
    #         #print('ok')

    def vs(self,image_element,res_s, res_b, res_b_xy):
        """
        对比，选出需要点击的汉字和坐标，并点击
        :param image_element:
        :param res_s: <dic> 小图识别结果（汉字）
        :param res_b: <dic> 大图识别结果（汉字）
        :param res_b_xy: <dic> 大图识别结果（坐标）
        :return: None
        """
        list_res_s = list(res_s.get('pic_str'))
        list_res_b = list(res_b.get('pic_str'))
        list_res_b_xy = res_b_xy.get('pic_str').split('|')
        #print(list_res_s)
        # print(list_res_b)
        # print(list_res_b_xy)
        dic_res_b = dict(zip(list_res_b, list_res_b_xy))
        print('字典格式：',dic_res_b)
        for i in list_res_s:
            if i in dic_res_b:
                x = dic_res_b.get(i).split(',')[0]
                y = dic_res_b.get(i).split(',')[1]
                #print(int(x), int(y))
                ActionChains(self.browser).move_to_element_with_offset(image_element, int(x),int(y)).click().perform()

    def verify_info(self):
        """
        验证用户名、密码、再次密码是否符合规则，符合返回True，否则返回False
        :return: <bool>
        """
        try:
            input_v = self.browser.find_elements_by_class_name('icon_suc')[0]
            password_v = self.browser.find_elements_by_class_name('icon_suc')[1]
            repassword_v = self.browser.find_elements_by_class_name('icon_suc')[2]
            print('注册信息正确！')
            return True
        except:
            print('注册信息错误！')
            return False
    def verify_recognation(self):
        """
        验证验证码是否正确，正确返回True，否则返回False
        :return:
        """
        try:
            self.wait.until(EC.text_to_be_present_in_element((By.CLASS_NAME, 'done_text'), '验证成功'))
            # 使用text_to_be_present_in_element方法不能使用find_element，因为发现一直在
            print('验证码正确！')
            return True
        except:
            print('验证码错误！')
            return False
    def get_verify_button(self):
        """
        获取验证“提交”按钮，并点击
        :return: None
        """
        verify_button = self.wait.until(EC.element_to_be_clickable((By.CLASS_NAME, 'pw_submit')))
        verify_button.click()
    def get_login_button(self):
        """
        获取“同意并注册账号”按钮，并点击
        :return: None
        """
        submit_button = self.wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="m_mainForm"]/div[2]/div[7]/a/span')))
        submit_button.click()
        print('登录成功')


    def crack(self):
        """
        破解入口
        :return: None
        """
        self.login() # 登陆

        image_element_s = self.get_image_element()[0]# 获取小图
        res_s = self.get_recognation_result(image_element_s,2003) # 获取第三方识别结果

        image_element_b = self.get_image_element()[1]# 获取大图
        res_b = self.get_recognation_result(image_element_b,2006) # 获取第三方识别结果

        res_b_xy = self.get_recognation_result(image_element_b,9008) # 获取第三方识别结果

        self.vs(image_element_b,res_s,res_b,res_b_xy)

        self.get_verify_button() # 点击“验证”按钮
        if self.verify_info() is True and self.verify_recognation() is True:
            #如果信息符合规则且验证码正确，点击“注册”按钮
            time.sleep(2)
            self.get_login_button()


if __name__ == '__main__':
    crack = CrackTouClick()
    crack.crack()

测试了几次发现题分没了……赶紧去充钱，好在1元=1000题分

试了几次只有一次是完全正确的，但是单独识别某一个图是没有问题的呀！难道是我刷新的太快了吗……因为无法同时获取汉字和其坐标，导致两次返回的数量很有可能不一致！