提升requests模块的爬取效率

一、提升requests模块的爬取效率

　　1、多线程和多进程(不建议使用)

　　2、线程池或进程池(适当使用)

　　3、单线程+异步协程(爬虫推荐使用）

二、单线程。爬取某视频到本地

import re
import time
import random
import requests
from lxml import etree

start_time = time.time()

url = "https://www.pearvideo.com/category_3"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"
}

ex = 'srcUrl="(.*?)",vdoUrl=srcUrl'

def request_video(url):
    """
    向视频链接发送请求
    """
    return requests.get(url=url, headers=headers).content

def save_video(content):
    """
    将视频的二进制数据保存到本地
    """
    video_name = str(random.randint(100, 999)) + ".mp4"
    with open(video_name, 'wb') as f:
        f.write(content)

        
# 获取首页源码
page_text = requests.get(url=url, headers=headers).text

tree = etree.HTML(page_text)
li_list = tree.xpath('//ul[@class="listvideo-list clearfix"]/li')

video_url_list = list()
for li in li_list:
    detail_url = "https://www.pearvideo.com/" + li.xpath('./div/a/@href')[0]
    
    # 获取该视频页面的源码
    detail_page_text = requests.get(url=detail_url, headers=headers).text
    
    # 正则匹配视频的URL
    video_url = re.findall(ex, detail_page_text, re.S)[0]
    video_url_list.append(video_url)
    
    content = request_video(video_url)
    save_video(content)


print("执行耗时: ", time.time() - start_time)

三、线程池或进程池。爬取某视频到本地

import re
import time
import random
import requests
from lxml import etree
from multiprocessing.dummy import Pool


start_time = time.time()

url = "https://www.pearvideo.com/category_3"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"
}

ex = 'srcUrl="(.*?)",vdoUrl=srcUrl'

def request_video(url):
    """
    向视频链接发送请求
    """
    return requests.get(url=url, headers=headers).content

def save_video(content):
    """
    将视频的二进制数据保存到本地
    """
    video_name = str(random.randint(100, 999)) + ".mp4"
    with open(video_name, 'wb') as f:
        f.write(content)

        
# 获取首页源码
page_text = requests.get(url=url, headers=headers).text

tree = etree.HTML(page_text)
li_list = tree.xpath('//ul[@class="listvideo-list clearfix"]/li')

video_url_list = list()
for li in li_list:
    detail_url = "https://www.pearvideo.com/" + li.xpath('./div/a/@href')[0]
    
    # 获取该视频页面的源码
    detail_page_text = requests.get(url=detail_url, headers=headers).text
    
    # 正则匹配视频的URL
    video_url = re.findall(ex, detail_page_text, re.S)[0]
    video_url_list.append(video_url)
    
pool = Pool(4)
    
#使用线程池将视频的二进制数据下载下来
content_list = pool.map(request_video, video_url_list)
    
# 使用线程池将视频的二进制数据保存到本地
pool.map(save_video, content_list)    

print("执行耗时: ", time.time() - start_time)

四、单线程+异步协程。

　　1、单线程　　

import time

start_time = time.time()

def request(url):
    print("正在下载", url)
    time.sleep(2)
    print("下载完成", url)

url_list = [
    "https://www.baidu.com",
    "https://www.taobao.com",
    "https://www.jd.com"
]

for url in url_list:
    request(url)

print("执行耗时:", time.time() - start_time)

　　2、进程池或线程池

import time
from multiprocessing.dummy import Pool

start_time = time.time()

def request(url):
    print("正在下载", url)
    time.sleep(2)
    print("下载完成", url)

url_list = [
    "https://www.baidu.com",
    "https://www.taobao.com",
    "https://www.jd.com"
]

pool = Pool(3)

pool.map(request, url_list)

print("执行耗时:", time.time() - start_time)

　　3、协程

　　 a、协程相关的概念

　　- event_loop：事件循环，相当于一个无限循环，我们可以把一些函数注册到这个事件循环上，当满足某些条件的时候，函数就会被循环执行。程序是按照设定的顺序从头执行到尾，运行的次数也是完全按照设定。当在编写异步程序时，必然其中有部分程序的运行耗时是比较久的，需要先让出当前程序的控制权，让其在背后运行，让另一部分的程序先运行起来。当背后运行的程序完成后，也需要及时通知主程序已经完成任务可以进行下一步操作，但这个过程所需的时间是不确定的，需要主程序不断的监听状态，一旦收到了任务完成的消息，就开始进行下一步。loop就是这个持续不断的监视器。

　　- coroutine：中文翻译叫协程，在 Python 中常指代为协程对象类型，我们可以将协程对象注册到事件循环中，它会被事件循环调用。我们可以使用 async 关键字来定义一个方法，这个方法在调用时不会立即被执行，而是返回一个协程对象。

　　- task：任务，它是对协程对象的进一步封装，包含了任务的各个状态。

　　- future：代表将来执行或还没有执行的任务，实际上和 task 没有本质区别。

　　- 另外我们还需要了解 async/await 关键字，它是从 Python 3.5 才出现的，专门用于定义协程。其中，async 定义一个协程，await 用来使挂起阻塞方法的执行。

　　b、创建一个协程对象，只需要在函数名前加上一个async关键字即可　

import time

async def request():
    print("正在下载")
    time.sleep(2)
    print("下载完成")

c = request()

　　c、基本使用

import time
import asyncio


async def request():
    print("正在下载")
    time.sleep(2)
    print("下载完成")

# 创建一个协程对象
c = request()

# 创建一个事件循环对象
loop = asyncio.get_event_loop()


# 1. 将协程对象注册到事件循环中
# 2. 执行事件循环
loop.run_until_complete(c)

　　d、task的使用

import time
import asyncio


async def request():
    print("下载成功~~")

# 创建一个协程对象
c = request()

# 创建一个事件循环对象
loop = asyncio.get_event_loop()

# 通过事件循环对象创建一个任务, 并将协程对象封装进这个任务里面 //作用：可以监听它的状态
task = loop.create_task(c)
print(task)

# 1. 将协程对象注册到事件循环中
# 2. 执行事件循环
loop.run_until_complete(task)
print(task)

　　e、future的使用

import time
import asyncio


async def request():
    print("下载成功~~")

# 创建一个协程对象
c = request()

# 创建一个事件循环对象
loop = asyncio.get_event_loop()

# 通过future创建任务，就不再依附于loop对象，通过asyncio模块来创建
future = asyncio.ensure_future(c)
print(future)

# 1. 将协程对象注册到事件循环中
# 2. 执行事件循环
loop.run_until_complete(future)
print(future)

　　f、回调函数

import time
import asyncio

def call_back(res):
    # 通过res.result()就可以接收到requests发送请求返回的响应数据
    print("在这里进行数据解析", res.result())
    

async def request():
    print("下载成功~~")
    return "永灵大神"

# 创建一个协程对象
c = request()

# 创建一个事件循环对象
loop = asyncio.get_event_loop()

# 通过future创建任务，就不再依附于loop对象，通过asyncio模块来创建
future = asyncio.ensure_future(c)

# 通过future定义一个回调函数，这样的话，协程对象的返回值就可以传递给我们的回调函数
future.add_done_callback(call_back)


# 1. 将协程对象注册到事件循环中
# 2. 执行事件循环
loop.run_until_complete(future)

　　g、回调函数(真正发送请求)

import time
import requests
import asyncio

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"
}

def call_back(res):
    # 通过res.result()就可以接收到requests发送请求返回的响应数据
    page_text = res.result()
    print("在这里进行数据解析", page_text)
    

async def request():
    return requests.get(url="https://www.baidu.com", headers=headers).text

# 创建一个协程对象
c = request()

# 创建一个事件循环对象
loop = asyncio.get_event_loop()

# 通过future创建任务，就不再依附于loop对象，通过asyncio模块来创建
future = asyncio.ensure_future(c)

# 通过future定义一个回调函数，这样的话，协程对象的返回值就可以传递给我们的回调函数
future.add_done_callback(call_back)


# 1. 将协程对象注册到事件循环中
# 2. 执行事件循环
loop.run_until_complete(future)

　五、多任务异步协程

　　1、多任务异步协程基本使用　　

import time
import asyncio

start_time = time.time()

# 特殊函数
async def request(url):
    print("正在下载: ", url)
    time.sleep(2)  # time模块为非异步的模块，在整个异步的代码中，如果出现了非异步的模块，则会让整个异步失去效果
    print("下载完成: ", url)
    
url_list = [
    "https://www.baidu.com",
    "https://www.taobao.com",
    "https://www.jd.com"
]

# 创建一个事件循环对象
loop = asyncio.get_event_loop()

task_list = list()
for url in url_list:
    c = request(url)
    
    # 创建一个任务对象
    task = asyncio.ensure_future(c)
    task_list.append(task)
    
# 如果传过来的是一个列表的话，需要再加上一层封装, 使用asyncio.wait()方法进行封装
loop.run_until_complete(asyncio.wait(task_list))
    
print("执行耗时:", time.time() - start_time)

　　2、多任务异步协程(解决方案)

import time
import asyncio

start_time = time.time()

# 特殊函数
async def request(url):
    print("正在下载: ", url)
#     time.sleep(2)  # time模块为非异步的模块，在整个异步的代码中，如果出现了非异步的模块，则会让整个异步失去效果
    await asyncio.sleep(2)
    print("下载完成: ", url)
    
url_list = [
    "https://www.baidu.com",
    "https://www.taobao.com",
    "https://www.jd.com"
]

# 创建一个事件循环对象
loop = asyncio.get_event_loop()

task_list = list()
for url in url_list:
    c = request(url)
    
    # 创建一个任务对象
    task = asyncio.ensure_future(c)
    task_list.append(task)
    
# 如果传过来的是一个列表的话，需要再加上一层封装, 使用asyncio.wait()方法进行封装
loop.run_until_complete(asyncio.wait(task_list))
    
print("执行耗时:", time.time() - start_time)

　　3、将多任务异步协程应用到爬虫中

import time
import asyncio
import requests

start_time = time.time()

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"
}

# 特殊函数
async def request(url):
    print("正在下载: ", url)
    # requests模块为非异步的请求模块，如果使用它，将会使整个异步失去效果
    page_text = requests.get(url=url, headers=headers).text
    print("返回的数据", page_text)
    print("下载完成: ", url)
    
url_list = [
    "http://127.0.0.1:5000/tiger",
    "http://127.0.0.1:5000/tom",
    "http://127.0.0.1:5000/jay"
]

# 创建一个事件循环对象
loop = asyncio.get_event_loop()

task_list = list()
for url in url_list:
    c = request(url)
    
    # 创建一个任务对象
    task = asyncio.ensure_future(c)
    task_list.append(task)
    
# 如果传过来的是一个列表的话，需要再加上一层封装, 使用asyncio.wait()方法进行封装
loop.run_until_complete(asyncio.wait(task_list))
    
print("执行耗时:", time.time() - start_time)

　　4、将多任务异步协程应用到爬虫中(解决方案)

import time
import asyncio
import aiohttp
import requests

start_time = time.time()

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"
}

# 特殊函数
async def request(url):
    print("正在下载: ", url)
    # 此session非requests.Session, 这个session支持异步的网络并发请求
    
    async with aiohttp.ClientSession() as session:
        async with await session.get(url=url) as response:
            page_text = await response.text()  # text()页面源码 read()二进制数据 json()
            print("返回的数据", page_text)
            
    print("下载完成: ", url)

url_list = [
    "http://127.0.0.1:5000/tiger",
    "http://127.0.0.1:5000/tom",
    "http://127.0.0.1:5000/jay"
]

# 创建一个事件循环对象
loop = asyncio.get_event_loop()

task_list = list()
for url in url_list:
    c = request(url)
    
    # 创建一个任务对象
    task = asyncio.ensure_future(c)
    task_list.append(task)
    
# 如果传过来的是一个列表的话，需要再加上一层封装, 使用asyncio.wait()方法进行封装
loop.run_until_complete(asyncio.wait(task_list))
    
print("执行耗时:", time.time() - start_time)

　　5、如何实现数据解析（任务的绑定回调机制）

import time
import asyncio
import aiohttp
import requests

start_time = time.time()

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"
}

def call_back(task):
    print("在这里进行数据解析")
    print("I am call_back")
    print(task.result())

# 特殊函数
async def request(url):
    # 此session非requests.Session, 这个session支持异步的网络并发请求
    
    async with aiohttp.ClientSession() as session:
        async with await session.get(url=url) as response:
            page_text = await response.text()  # text()页面源码 read()二进制数据 json()
            print("返回的数据", page_text)
            return page_text

url_list = [
    "http://127.0.0.1:5000/tiger",
    "http://127.0.0.1:5000/tom",
    "http://127.0.0.1:5000/jay"
]

# 创建一个事件循环对象
loop = asyncio.get_event_loop()

task_list = list()
for url in url_list:
    c = request(url)
    
    # 创建一个任务对象
    task = asyncio.ensure_future(c)
    task.add_done_callback(call_back)
    task_list.append(task)
    
# 如果传过来的是一个列表的话，需要再加上一层封装, 使用asyncio.wait()方法进行封装
loop.run_until_complete(asyncio.wait(task_list))
    
print("执行耗时:", time.time() - start_time)