python异步编程asyncio

前言

python由于GIL（全局锁）的存在，不能发挥多核的优势，其性能一直饱受诟病。然而在IO密集型的网络编程里，异步处理比同步处理能提升成百上千倍的效率，弥补了python性能方面的短板。
asyncio于Python3.4引入标准库，增加了对异步I/O的支持，asyncio基于事件循环，可以轻松实现异步I/O操作。接下来，我们用基于asyncio的库实现一个高性能爬虫。
asyncio的编程模型就是一个消息循环。我们从asyncio模块中直接获取一个EventLoop的引用，然后把需要执行的协程扔到EventLoop中执行，就实现了异步IO。

• 同步和异步
  同步：不同程序单元为了完成某个任务，在执行过程中需靠某种通信方式以协调一致，称这些程序单元是同步执行的。
  异步：为完成某个任务，不同程序单元之间过程中无需通信协调，也能完成任务的方式。简言之，异步意味着无序。

python同步和异步

• 下面通过举例来对比同步代码和异步代码编写方面的差异，其次看下两者性能上的差距，使用time.sleep()来模拟io操作
  同步代码：

import time


def task(i):
    time.sleep(1)
    print(f'task {i}')
    pass


start = time.time()
for i in range(4):
    task(i)
    pass
end = time.time()

print(f"Time consuming:{end -start}")

执行结果：最后消耗的时间是4s多，顺序是从0到3，从上到下顺序执行的

task 0
task 1
task 2
task 3
Time consuming:4.0012712478637695

异步代码：需要导入asyncio模块，Python3.4加入到标准库

import time
import asyncio


async def task(i):
    await asyncio.sleep(1)
    print(f'task {i}')
    pass

tasks = []  # 任务列表
loop = asyncio.get_event_loop()  # 创建事件循环对象
start = time.time()
for i in range(4):
    tasks.append(asyncio.ensure_future(task(i)))  # 添加到任务列表
    pass
loop.run_until_complete(asyncio.wait(tasks))  # 异步执行任务
end = time.time()
print(f"Time consuming:{end -start}")

执行结果：可以看到使用异步后执行顺序不在是顺序执行，执行的时间也从4s缩短为1s

task 0
task 2
task 1
task 3
Time consuming:1.0003290176391602

async def 用来定义异步函数，其内部有异步操作。每个线程有一个事件循环，主线程调用asyncio.get_event_loop()时会创建事件循环，你需要把异步的任务丢给这个循环的run_until_complete()方法，事件循环会安排协同程序的执行。