zoukankan      html  css  js  c++  java
  • 洗礼灵魂,修炼python(90)-- 知识拾遗篇 —— 协程

    协程

    1.定义

    协程,顾名思义,程序协商着运行,并非像线程那样争抢着运行。协程又叫微线程,一种用户态轻量级线程。协程就是一个单线程(一个脚本运行的都是单线程)

     协程拥有自己的寄存器上下文和栈。协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈。

    协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置,看到这

     

     

    是的,就是生成器,后面再实例更会充分的利用到生成器,但注意:生成器 != 协程

    2.特性

    优点:

    • 无需线程上下文切换的开销
    • 无需原子操作锁定及同步的开销
    • 方便切换控制流,简化编程模型
    • 高并发+高扩展性+低成本:一个CPU支持上万的协程都不是问题。所以很适合用于高并发处理。

    注:比如修改一个数据的整个操作过程下来只有两个结果,要嘛已修改,要嘛未修改,中途出现任何错误都会回滚到操作前的状态,这种操作模式就叫原子操作,"原子操作(atomic operation)是不需要synchronized",不会被线程调度机制打断的操作;这种操作一旦开始,就一直运行到结束,中间不会有任何 context switch (切换到另一个线程)。原子操作可以是一个步骤,也可以是多个操作步骤,但是其顺序是不可以被打乱,或者切割掉只执行部分。视作整体是原子性的核心。 

    缺点:

    • 无法利用多核资源:协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上.当然我们日常所编写的绝大部分应用都没有这个必要,除非是cpu密集型应用。
    • 进行阻塞(Blocking)操作(如IO时)会阻塞掉整个程序

     

    3.实例

     1)用生成器实现伪协程:

    在这之前,相信很多朋友已经把生成器是什么忘了吧,这里简单复习一下。

    创建生成器有两个放法:

    A:使用列表生成器:

    B:使用yield创建生成器:

    访问生成器数据,使用next()或者__next__()方法:

    好的,既然说到这里,就说下,yield可以暂存数据并转发:

    传是传入了,但结果却报错:

    为什么报错呢?首先要说一个知识点,使用next()和send()方法都会取出一个数据,不同的是send即发送数据又取出上一数据,并且如果要发送数据必须是第二次发送,如果第一次就是用send,必须写为send(None)才行,不然报错。next(obj) = obj.send(None).

    因为yield是暂存数据,每次next()时将会在结束时的此处阻塞住,下一次又从这里开始,而发送完,send取数据发现已经结束了,数据已经没了,所以修改报错,

    那么稍作修改得:

    完美!

    好的,进入正题了,有了上面的现钞,现在现卖应该没问题了:

    依然是前面的生产者消费者模型 

    import time
    import queue
    
    def consumer(name):
        print("--->starting eating baozi...")
        while True:
            new_baozi = yield
            print("[%s] is eating baozi %s" % (name,new_baozi))
            #time.sleep(1)
     
    def producer():
     
        r = con.__next__()
        r = con2.__next__()
        n = 0
        while n < 5:
            n +=1
            con.send(n)
            con2.send(n)
            print("33[32;1m[producer]33[0m is making baozi %s" %n )
     
     
    if __name__ == '__main__':
        con = consumer("c1")
        con2 = consumer("c2")
        p = producer()
    

      

    运行结果:

    首先我们知道使用yield创建了一个生成器对象,然后每次使用时利用new_baozi做一个中转站来缓存数据。这就是实现协程效果了对吧?

    前面我提了一句,yield下是伪协程,那么什么是真正的协程呢?

    需要具备以下条件

    • 必须在只有一个单线程里实现并发
    • 修改共享数据不需加锁
    • 一个协程遇到IO操作自动切换到其它协程
    • 用户程序里自己保存多个控制流的上下文栈

    2)gevent协程

    首先其实python提供了一个标准库Greenlet就是用来搞协程的

    #!usr/bin/env python
    #-*- coding:utf-8 -*-
    
    # author:yangva
    
    from greenlet import greenlet
    
    def test1():
        print(1)
        gr2.switch() #switch方法作为协程切换
        print(2)
        gr2.switch()
    
    def test2():
        print(3)
        gr1.switch()
        print(4)
    
    gr1 = greenlet(test1)
    gr2 = greenlet(test2)
    gr1.switch()
    

      

    运行结果:

    但是效果不好,无法满足IO阻塞,所以一般情况都用第三方库gevent来实现协程:

    #!usr/bin/env python
    #-*- coding:utf-8 -*-
    
    # author:yangva
    
    import gevent,time
    
    def test1():
        print(1,time.ctime())
        gevent.sleep(1)     #模拟IO阻塞,注意此时的sleep不能和time模块下的sleep相提并论
        print(2,time.ctime())
    
    def test2():
        print(3,time.ctime())
        gevent.sleep(1)
        print(4,time.ctime())
    
    gevent.joinall([
        gevent.spawn(test1), #激活协程对象
        gevent.spawn(test2)
    ])
    

      

    运行结果:

    那么如果函数带有参数怎么搞呢?

    #!usr/bin/env python
    #-*- coding:utf-8 -*-
    
    # author:yangva
    
    import gevent
    
    
    def test(name,age):
        print('name:',name)
        gevent.sleep(1)     #模拟IO阻塞
        print('age:',age)
    
    
    gevent.joinall([
        gevent.spawn(test,'yang',21), #激活协程对象
        gevent.spawn(test,'ling',22)
    ])
    

      

    运行结果:

     如果你对这个协程的速度觉得不理想,可以添加下面这一段,其他不变:

     这个patch_all()相当于一个检测机制,发现IO阻塞就立即切换,不需等待什么。这样可以节省一些时间

     好的,协程解析完毕。

  • 相关阅读:
    ZooKeeper概述(转)
    ZooKeeper典型应用场景(转)
    部署与管理ZooKeeper(转)
    Hbase分布式安装部署过程
    HBase安装
    使用info命令查看Redis信息和状态
    java定时调度器解决方案分类及特性介绍
    谈谈应用层切面设计
    七层协议和四层协议
    HTTP协议详解
  • 原文地址:https://www.cnblogs.com/Eeyhan/p/8456030.html
Copyright © 2011-2022 走看看