爬虫 --- 05. 异步协程, 浏览器自动化,

一.单线程+异步协程

　　1.基本概念:

event_loop：事件循环，相当于一个无限循环，我们可以把一些特殊函数注册（放置）到这个事件循环上，
当满足某些条件的时候，函数就会被循环执行。程序是按照设定的顺序从头执行到尾，运行的次数也是完全按照设定。
当在编写异步程序时，必然其中有部分程序的运行耗时是比较久的，需要先让出当前程序的控制权，让其在背后运行，
让另一部分的程序先运行起来。当背后运行的程序完成后，也需要及时通知主程序已经完成任务可以进行下一步操作，
但这个过程所需的时间是不确定的，需要主程序不断的监听状态，一旦收到了任务完成的消息，就开始进行下一步。
loop就是这个持续不断的监视器。

coroutine：中文翻译叫协程，在 Python 中常指代为协程对象类型，我们可以将协程对象注册到事件循环中，
它会被事件循环调用。我们可以使用 async 关键字来定义一个方法，这个方法在调用时不会立即被执行，
而是返回一个协程对象。

task：任务，它是对协程对象的进一步封装，包含了任务的各个状态。

future：代表将来执行或还没有执行的任务，实际上和 task 没有本质区别。

另外我们还需要了解 async/await 关键字，它是从 Python 3.6 才出现的，专门用于定义协程。4
其中，async 定义一个协程，await 用来挂起阻塞方法的执行。

#代码简单解释

import asyncio
# 特殊函数
async def request(url):
    print('正在请求：',url)
    print('下载成功:',url)

# 返回一个特殊函数的协程对象
c = request('www.baidu.com')

#实例化一个事件循环对象
loop = asyncio.get_event_loop()

#创建一个任务对象,将协程对象封装到了该对象中
# task = loop.create_task(c)
#另一种形式实例化任务对象的方法
task = asyncio.ensure_future(c)
print(task)

#将协程对象注册到事件循环对象中，并且我们需要启动事件循环对象
loop.run_until_complete(task)
print(task)

#给任务对象绑定回调函数


import asyncio

async def request(url):
    print('正在请求：',url)
    print('下载成功:',url)
    return url

#回调函数必须有一个参数：task
#task.result():任务对象中封装的协程对象对应的特殊函数内部的返回值
def callbak(task):
    print('this is callback!')
    print(task.result())

c = request('www.baidu.com')

#给任务对象绑定一个回调函数
task = asyncio.ensure_future(c)
task.add_done_callback(callbak)


loop = asyncio.get_event_loop()

loop.run_until_complete(task)

　　2.多任务异步协程

#基本框架


from time import sleep
import asyncio
import time
urls = ['www.baidu.com','www.sogou.com','www.goubanjia.com']
start = time.time()
async def request(url):
    print('正在请求：',url)
    #在多任务异步协程实现中，不可以出现不支持异步的相关代码。
    # sleep(2)
　　#碰到阻塞就挂起
    await asyncio.sleep(2)
    print('下载成功:',url)

loop = asyncio.get_event_loop()
#任务列表：放置多个任务对象
tasks = []
for url in urls:
    c = request(url)
    task = asyncio.ensure_future(c)
    tasks.append(task)

#碰到阻塞就挂起
loop.run_until_complete(asyncio.wait(tasks))

print(time.time()-start)

　　3.在爬虫中的应用

安装模块:

#aiohttp:支持异步的一个基于网络请求的模块
# pip install aiohttp

from flask import Flask
import time

app = Flask(__name__)


@app.route('/bobo')
def index_bobo():
    time.sleep(2)
    return 'Hello bobo'

@app.route('/jay')
def index_jay():
    time.sleep(2)
    return 'Hello jay'

@app.route('/tom')
def index_tom():
    time.sleep(2)
    return 'Hello tom'

if __name__ == '__main__':
    app.run(threaded=True)

#错误示范:

import requests
import asyncio
import time
#单线程+多任务异步协程
urls = [
    'http://127.0.0.1:5000/jay',
    'http://127.0.0.1:5000/bobo',
    'http://127.0.0.1:5000/tom'
]
async def get_pageText(url):
    print('正在下载：',url)
    #requests模块是不支持异步操作的。
    page_text = requests.get(url).text
    print('下载完毕：',url)

    return page_text

start = time.time()
tasks = []
for url in urls:
    c = get_pageText(url)
    task = asyncio.ensure_future(c)
    tasks.append(task)
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

print(time.time()-start)

#协程在爬虫中的运用最终版

import requests
import asyncio
import time
import aiohttp
#单线程+多任务异步协程
urls = [
    'http://127.0.0.1:5000/jay',
    'http://127.0.0.1:5000/bobo',
    'http://127.0.0.1:5000/tom'
]
#运用代理ip时的 请求操作：
#async with await s.get(url,proxy="http://ip:port") as response:
async def get_pageText(url):
   async with aiohttp.ClientSession() as s:
      async with await s.get(url) as response:
           page_text = await response.text()
            # 借助于回调函数进行响应数据的解析操作
           return page_text 
#封装回调函数用于数据解析
def parse(task):
    #1.获取响应数据
    page_text = task.result()
    print(page_text+',即将进行数据解析！！！')
    #解析操作写在该位置

start = time.time()
tasks = []
for url in urls:
    c = get_pageText(url)
    task = asyncio.ensure_future(c)
    #给任务对象绑定回调函数用于数据解析
    task.add_done_callback(parse)
    tasks.append(task)
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

print(time.time()-start)

二.selenium(浏览器自动化模块)

　　1.基本概念

    - 概念：是一个基于浏览器自动化的模块。
    - 和爬虫之间的关联？
        - 帮我我们便捷的爬取到页面中动态加载出来的数据
        - 实现模拟登陆

- 列举常见的selenium模块的方法及其作用
    - get(url)
    - find系列的函数进行标签定位
    - send_keys（‘key’）
    - click（）
    - excute_script（‘jsCode’）
    - page_source
    - switch_to.frame('iframeID')
    - quite()
    - save_screenshot()
    - a = ActionChains(bro)
    - a.click_and_hold('tag')
    - tag.move_by_offset(x,y).perform()

　　2.安装使用

        - pip install selenium
        - 下载对应的驱动程序：http://chromedriver.storage.googleapis.com/index.html


　　　　　- 查看驱动和浏览器版本的映射关系：

　　　　            http://blog.csdn.net/huilan_same/article/details/51896672

        - 实例化一个浏览器对象（将浏览器的驱动程序加载到该对象中）

#对百度搜索的简单使用:

from selenium import webdriver
from time import sleep

# 后面是你的浏览器驱动位置，记得前面加r'','r'是防止字符转义的
driver = webdriver.Chrome(r'./chromedriver.exe')
# 用get打开百度页面
driver.get("http://www.baidu.com")
# 查找页面的“设置”选项，并进行点击
driver.find_elements_by_link_text('设置')[0].click()
sleep(2)
# # 打开设置后找到“搜索设置”选项，设置为每页显示50条
driver.find_elements_by_link_text('搜索设置')[0].click()
sleep(2)

# 选中每页显示50条
m = driver.find_element_by_id('nr')
sleep(2)
m.find_element_by_xpath('//*[@id="nr"]/option[3]').click()
m.find_element_by_xpath('.//option[3]').click()
sleep(2)

# 点击保存设置
driver.find_elements_by_class_name("prefpanelgo")[0].click()
sleep(2)

# 处理弹出的警告页面   确定accept() 和 取消dismiss()
driver.switch_to_alert().accept()
sleep(2)
# 找到百度的输入框，并输入 美女
driver.find_element_by_id('kw').send_keys('美女')
sleep(2)
# 点击搜索按钮
driver.find_element_by_id('su').click()
sleep(2)
# 在打开的页面中找到“Selenium - 开源中国社区”，并打开这个页面
driver.find_elements_by_link_text('美女_百度图片')[0].click()
sleep(3)

# 关闭浏览器
driver.quit()

#抓取药监总局公司信息:

from selenium import webdriver
from lxml import etree
import time
bro = webdriver.Chrome(executable_path='./chromedriver.exe')
#让浏览器对指定url发起访问
bro.get('http://125.35.6.84:81/xk/')

#获取浏览器当前打开页面的页面源码数据(可见即可得)
page_text = bro.page_source
time.sleep(2)
tree = etree.HTML(page_text)
name = tree.xpath('//*[@id="gzlist"]/li[1]/dl/a/text()')[0]
print(name)
time.sleep(3)
bro.quit()

　　3.动作制定

　　①基本操作

from selenium import webdriver
import time
bro = webdriver.Chrome(executable_path='./chromedriver.exe')

bro.get('https://www.taobao.com')

#节点定位 find系列的方法(多种方法可以使用)
input_text = bro.find_element_by_id('q')
#节点交互
input_text.send_keys('苹果')
time.sleep(2)

#执行js程序(js注入)
#向下拖动滚轮一屏的高度
bro.execute_script('window.scrollTo(0,document.body.scrollHeight)')

#找到并点击搜索按钮
btn = bro.find_element_by_css_selector('.btn-search').click()

time.sleep(3)
bro.quit()

 　　②动作链(按住拖动)

from selenium import webdriver
#导入动作链对应的模块
from selenium.webdriver import ActionChains
import time
bro = webdriver.Chrome(executable_path='./chromedriver.exe')

bro.get('https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')

#如果定位的节点是被包含在iframes节点之中的，则必须使用switch_to进行frame的切换
bro.switch_to.frame('iframeResult')

div_tag = bro.find_element_by_id('draggable')

#实例化一个动作链对象(需要将浏览器对象作为参数传递给该对象的构造方法)
action = ActionChains(bro)
#单击且长按
action.click_and_hold(div_tag)

for i in range(5):
    #让div向右移动
    action.move_by_offset(17,0).perform()
    #perform()立即执行动作链
    time.sleep(0.5)

time.sleep(2)
bro.quit()

 　　4.无头浏览器(无可视化)

    - 无可视化浏览器 

常用的无头浏览器:  

　　　　 - phantomJs

        - 谷歌无头(推荐)

#抓取药监总局公司信息:

from selenium import webdriver
from lxml import etree
import time

from selenium.webdriver.chrome.options import Options
#实例化
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')

bro = webdriver.Chrome(executable_path='./chromedriver.exe',chrome_options=chrome_options)
#让浏览器对指定url发起访问
bro.get('http://125.35.6.84:81/xk/')

#获取浏览器当前打开页面的页面源码数据(可见即可得)
page_text = bro.page_source
time.sleep(2)
tree = etree.HTML(page_text)
name = tree.xpath('//*[@id="gzlist"]/li[1]/dl/a/text()')[0]
print(name)
time.sleep(3)
bro.quit()

 　　5.规避被检测

from selenium import webdriver
from lxml import etree
import time

from selenium.webdriver import ChromeOptions

option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])

bro = webdriver.Chrome(executable_path='./chromedriver.exe',options=option)
#让浏览器对指定url发起访问
bro.get('http://125.35.6.84:81/xk/')

#获取浏览器当前打开页面的页面源码数据(可见即可得)
page_text = bro.page_source
time.sleep(2)
tree = etree.HTML(page_text)
name = tree.xpath('//*[@id="gzlist"]/li[1]/dl/a/text()')[0]
print(name)
time.sleep(5)
bro.quit()

 　　6.超级鹰+截图+浏览器自动化+动作链

 - 超级鹰
　　http://www.chaojiying.com/
    - 注册：普通用户/开发者(都可以)
    - 登陆：
        - 创建一个软件（id）
        - 下载示例代码

#用超级鹰解析验证码

import requests
from hashlib import md5

class Chaojiying_Client(object):

    def __init__(self, username, password, soft_id):
        self.username = username
        password = password.encode('utf8')
        self.password = md5(password).hexdigest()
        self.soft_id = soft_id  # 898175
        self.base_params = {
            'user': self.username,
            'pass2': self.password,
            'softid': self.soft_id,  # 898175
        }
        self.headers = {
            'Connection': 'Keep-Alive',
            'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
        }

    def PostPic(self, im, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
            'codetype': codetype,
        }
        params.update(self.base_params)
        files = {'userfile': ('ccc.jpg', im)}
        r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files,
                          headers=self.headers)
        return r.json()

    def ReportError(self, im_id):
        """
        im_id:报错题目的图片ID
        """
        params = {
            'id': im_id,
        }
        params.update(self.base_params)
        r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)
        return r.json()

#  12306自动登录

from selenium import webdriver
import time
from selenium.webdriver import ActionChains
from PIL import Image

bro = webdriver.Chrome(executable_path=r'./chromedriver.exe')
bro.get('https://kyfw.12306.cn/otn/login/init')

time.sleep(2)
code_img_ele = bro.find_element_by_xpath('//*[@id="loginForm"]/div/ul[2]/li[4]/div/div/div[3]/img')
time.sleep(2)
#验证码图片的左上角的坐标
location = code_img_ele.location  # x,y
print('验证码图片的左上角的坐标locaotion：', location)
size = code_img_ele.size  # 验证码图片的长和宽
print('验证码图片的长和宽size：', size)
#验证码左上角和右下角这两个点的坐标
rangle = (
    int(location['x']), int(location['y']), int(location['x'] + size['width']), int(location['y'] + size['height'])
    )

#截取当前浏览器打开的这张页面对应的图像
bro.save_screenshot('aa.png')

i = Image.open('./aa.png')
#即将被截取下来验证码图片的名称
code_img_name = './code.png'

#crop就可以根据左上角和右下角的坐标进行指定区域的截取
frame = i.crop(rangle)
frame.save(code_img_name)

#调用超级鹰
chaojiying = Chaojiying_Client('xuebaohua', '123456xbh', '898175')  # 用户中心>>软件ID 生成一个替换 96001
im = open('./code.png', 'rb').read()
result = chaojiying.PostPic(im, 9004)  # 9004验证码类型
print("***************", result)
result = result['pic_str']

all_list = [] #[[x1,y1],[x2,y2],[x3,y3]]
if '|' in result:  # 117,75|188,146|117,75
    list_1 = result.split('|')
    count_1 = len(list_1)
    for i in range(count_1):
        xy_list = []
        x = int(list_1[i].split(',')[0])   #[[x,y],[]]
        y = int(list_1[i].split(',')[1])
        xy_list.append(x)
        xy_list.append(y)
        all_list.append(xy_list)
else:
    x = int(result.split(',')[0])   #[[x,y]]
    y = int(result.split(',')[1])
    xy_list = []
    xy_list.append(x)
    xy_list.append(y)
    all_list.append(xy_list)
print(all_list)
code_img = bro.find_element_by_xpath('//*[@id="loginForm"]/div/ul[2]/li[4]/div/div/div[3]/img')

action = ActionChains(bro)

for l in all_list:
    x = l[0]
    y = l[1]
    ActionChains(bro).move_to_element_with_offset(code_img, x, y).click().perform()

bro.find_element_by_id('username').send_keys('1234')
time.sleep(2)
bro.find_element_by_id('password').send_keys('123456')
time.sleep(2)
bro.find_element_by_id('loginSub').click()
time.sleep(4)

bro.find_element_by_xpath('//*[@id="J-index"]/a').click()
time.sleep(4)

# bro.find_element_by_id('fromStationText').send_keys('北京')  # 出发地 输入拼音大小写或汉字
# time.sleep(0.2)
# bro.find_element_by_id('toStationText').send_keys('天津')  # 到达地 输入拼音大小写或汉字
# time.sleep(0.2)
# bro.find_element_by_id('train_date').send_keys('2019-5-6')  # 出发日期
# time.sleep(1)
# bro.find_element_by_id('search_one').click()
# time.sleep(3)

bro.quit()

 三. pyppeteer 模块(浏览器自动化)

 

在pyppeteer中,实际有 chromium浏览器进行页面渲染
　　
chromium是 Chrome(谷歌)的测试版本

第一次安装较慢,要下载

支持异步

#示例:

from pyppeteer import launch
import asyncio
from lxml import etree

async def main():
    #实例化一个浏览器对象（谷歌浏览器测试版本）
    bro = await launch(headless=False)
    #新建一个空白页
    page = await bro.newPage()
    await page.goto('http://quotes.toscrape.com/js/')

    #获取page当前显示页面的源码数据
    page_text = await page.content()

    return page_text

def parse(task):
    page_text = task.result()
    tree = etree.HTML(page_text)
    div_list = tree.xpath('//div[@class="quote"]')
    for div in div_list:
        content = div.xpath('./span[1]/text()')[0]
        print(content)
c = main()
task = asyncio.ensure_future(c)
task.add_done_callback(parse)
loop = asyncio.get_event_loop()
loop.run_until_complete(task)