zoukankan      html  css  js  c++  java
  • 第三次理解asyncio

    asynchronous(异步)/concurrent(并发)/multiprocess(多进程) in Python
    相关模块有:

    _thread
    threading (对_thread的高级封装)
    multiprocessing
    concurrent.futures(多threading/multiprocessing的高级封装)
    asyncio
    asyncio
    参考资料:

    Official Document
    廖雪峰的官方网站
    Guide to Concurrency in Python with Asyncio
    Python黑魔法 — 异步IO( asyncio) 协程
    且听风吟
    小明
    理解 Python asyncio Python Generator
    asyncio is a library to write concurrent(并发) code using the async/await syntax.

    asyncio is used as a foundation for multiple Python asynchronous(异步) frameworks that provide high-performance network and web-servers, database connection libraries, distributed task queues, etc.

    asyncio模块有四个基本概念:

    eventloop
    coroutine
    future
    task
    Python3.4 增加了asyncio模块支持异步IO,起初使用@asyncio.coroutine || yield from语法,Python3.5后使用async || await语法替代。

    异步IO asynchronous|| 并发 concurrency || 并行 parallel1
    所谓异步IO,就是当发起一个IO操作,却不等它结束,直接去做其他事情,当它结束时,会通知你。

    同步IO模型的代码无法实现异步IO模型。异步IO模型需要有一个eventloop,在eventloop中主线程不断重复“读取消息–> 处理消息”这一过程。

    所谓并发(concurrency),是指同一时刻平等的运行不同事情。多进程、多线程都可以实现。是一种逻辑上的假相。不同任务逻辑上同时运行,但处理器只有一个,同一时刻处理器上只能处理一个任务。核心是交替,逻辑上。

    所谓并行(parallel),是真正的同时运行,同一时刻多个任务在多个处理器上同时执行。核心是并列,物理上。

    并发指的是程序的结构,并行指的是程序运行时的状态。

    概念一:事件循环 event loop
    功能类似于CPU(顺序执行协程代码)、操作系统(完成协程调度)。

    作为中央总控,eventloop实例提供了注册/取消/执行任务(和回调)的方法。

    把一些列异步函数注册到事件循环上,事件循环就会循环执行这些函数(同一时刻只能执行一个),当执行到某个函数正在等待I/O返回,事件循环就会暂停它的执行去执行其他函数;当某个函数完成I/O后会恢复,下次循环到它的时候继续执行。

    eventloop机理上,遇到IO操作时,代码只发出IO请求,不等待IO结果,直接结束本轮消息处理,进入下一轮消息处理过程。

    当IO操作完成后,收到一条“IO完成”的消息,处理该消息时就可以直接获取IO操作结果。

    在“发出IO请求”到收到“IO完成”这段时间内,主线程继续处理eventloop中其他消息,如此异步IO模型下,一个线程就可以同时处理多个IO请求,而不用产生线程切换的消耗。

    The eventloop is what schedules and runs asynchronous tasks.

    uvloop
    According to the authors of uvloop, it is comparible in speed to that of Go programs.

    If you want to utilize uvloop the first install it ,the add a call to uvloop.install()

    import asyncio
    import uvloop

    async def foo():
    print("Foo!")

    async def hello_world():
    await foo()
    print("Hello World!")

    uvloop.install() # 使用uvloop替换原生eventloop
    asyncio.run(hello_world())
    1
    2
    3
    4
    5
    6
    概念二:协程 coroutine
    coroutine本质上是一个函数,在代码块中可以由用户将执行权交给其他协程。

    协程可以做哪些事2:

    等待一个future结束
    等待另一个协程(产生一个结果,或引发一个异常) await asyncio.sleep(x)
    产生一个结果给正在等它的协程
    引发一个异常给正在等它的协程
    function or object
    coroutine function : an async def function;
    coroutine object : an object returned by calling a coroutine function
    协程的运行
    调用协程函数,协程并不会开始运行,只是返回一个协程对象。

    运行协程对象的两种方式:

    在另一个已经运行的协程中用“await”等待它
    通过“ensure_future”函数计划它的执行
    本质上,只有loop运行了,协程才会运行。

    import asyncio

    async def do_some_work(x): # async 用于定义一个coroutine对象
    print("waiting " + str(x))
    await asyncio.sleep(x) # await调用另一个coroutine对象
    print("again") # asycnio.sleep()相当于IO,这里并不是等待IO结束,而是直接中断do_some_work()这个coroutine,当IO完成后才重新启动本协程

    loop = asyncio.get_event_loop() # 定义一个无协程的loop
    loop.run_until_complete(do_some_work(3)) # 把协程对象加入到loop,此处参数应为future对象,只是内部可以自动检测封装
    loop.run_until_complete(asyncio.ensure_future(do_some_work(3))) # 正规写法
    1
    2
    run_until_complete只接收单个future,如果有多个协程需要用syncio.gather([coroutine1,c2,…]),asyncio.gather()本质是并发运行任务.

    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())
    loop.close()
    # 等价于
    asyncio.run(main())
    1
    2
    3
    4
    5
    The .run function always creates a new event loop and closes it at the end. It’s a high-level API.

    协程的并发:asyncio.gather || asyncio.wait
    return_a, return_b = await asyncio.gather(a(), b())
    done, pending = await asyncio.wait([a(), b()])
    # return_a 等价于list(done)[0].result()
    1
    2
    3
    两者都是让多个协程并发执行,asyncio.gather()会按照输入协程的顺序保存对应协程的执行结果。

    asyncio.wait()返回封装的task(已完成的和被挂起的任务),如果需要协程的执行结果就要从对应task实例中采用result方法拿到。

    asyncio.wait()接收一个参数return_when,表示返回的时机。可选有:

    ALL_COMPLETED : 全部任务完成后返回
    FIRST_COMPLETED : 第一个协程完成后返回
    FIRST_EXCEPTION : 第一个异常出现后返回
    协程与函数
    在函数世界内,当一个函数中断去执行另一个函数采用调用另一个函数;协程中,函数A执行中断去执行函数B是由事件循环操作的,并不涉及函数之间的调用。

    不同协程是在同一个线程内切换的。

    概念三:Future
    future是coroutine的封装,future对象提供了很多任务方法,可以向Future实例添加完成后的回调(add_done_callback)、取消任务(cancle)、设置最终结果(set_result)、设置一场(set_exception)等。

    概念四:Task
    task是future这种底层类的子类。实际使用中更过直接调用task而非future。

    Task的创建有三种方法:

    asyncio.create_task(coro) Python3.7后推荐用法,本质是对loop.create_task的封装
    loop.create_task(coro)
    asyncio,ensure_future(coro/future/awaitable)
    Awaitables
    Something is awaitable if it can be used in an await expression.

    There are three main tyoes of awaitables:

    Coroutine
    Tasks
    Futures(low-level type)
    回调
    可以给Task/Future添加回调函数,等task完成后就会自动调用这些回调函数。

    task.add_done_callback(callback)

    回调函数按其注册顺序被调用。

    同步代码
    如果有同步逻辑需要执行,可以放在loop.run_in_executor(concurrent.futures.Executor实例,同步函数)里执行。

    References

  • 相关阅读:
    文件上传笔记
    使用customize-cra,react-app-rewired扩展create-react-app
    regeneratorRuntime is not defined报错处理
    gulp使用笔记
    pyinstaller打包带图标时报错问题
    不使用npm eject 修改create-react-app的wepack配置less-loader
    mockjs使用笔记
    树莓派安装TPLINK_WN725n v2网卡驱动
    csv数据文件如何设置
    Jmeter多线程token传递
  • 原文地址:https://www.cnblogs.com/liujinyao/p/13029534.html
Copyright © 2011-2022 走看看