zoukankan      html  css  js  c++  java
  • python进阶------进程线程(四)

    Python中的协程

    协程,又称微线程,纤程。英文名Coroutine。一句话说明什么是线程:协程是一种用户态的轻量级线程。

    协程拥有自己的寄存器上下文和栈。协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈。因此:

    协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置。

    一、yield实现协程

    import time
    def consumer():
    """consumer 是一个生成器函数,任何包含yield的函数都是生成器对象"""
    r=''
    while True:
    #consumer 函数通过yield拿到消息,处理又把yield的结果返回给produce生产者。
    n=yield r#yield 指令具有return关键字的作用。然后函数的堆栈会自动冻结在这一行。
    if not n:#当函数的调用者下一次利用next()或者.send()或者for in 来迭代调用该函数的时候,
    return#就会出yield代码的下一行开始,继续执行,再返回下一次的迭代结果。通过这种方式,迭代器可以实现无限序列和惰性求值。
    print('[CONSUMER] ←← Consuming %s...' % n)
    time.sleep(1)
    r = 'consume over'

    def produce(c):
    #首先调用next来启动生成器函数。(consumer)
    next(c)
    n=0
    while n<5:
    n = n+1
    print('[PRODUCER] →→ Producing %s...' % n)
    #一生产了东西就会通过c.send(n)切换到consumer执行
    cr = c.send(n)
    print('[PRODUCER] Consumer return: %s' % cr)
    #produce 不生产了,通过s.close()关闭consumer,整个过程结束
    c.close()

    if __name__ == '__main__':
    #通过yield实现的协程的功能整个流程无锁,由一个线程执行,produce和consumer 协作完成任务,并非多线程来抢占任务,将切换变为可控执行的顺序也自然可控最后都是生产者生产一个消费者消费一个。
    c = consumer()
    produce(c)
    二、greenlet
    greenlet机制的主要思想是:生成器函数或者协程函数中的yield语句挂起函数的执行,直到稍后使用next()或send()操作进行恢复为止。可以使用一个调度器循环在一组生成器函数之间协作多个任务。greentlet是python中实现我们所谓的"Coroutine(协程)"的一个基础库。

    from greenlet import greenlet

    def test1():
    print (12)
    gr2.switch()
    print (34)
    gr2.switch()

    def test2():
    print (56)
    gr1.switch()
    print (78)

    gr1 = greenlet(test1)
    gr2 = greenlet(test2)
    gr1.switch()

    三、基于greenlet的框架

    1.1gevent实现协程

    Python通过yield提供了对协程的基本支持,但是不完全。而第三方的gevent为Python提供了比较完善的协程支持。

    gevent是第三方库,通过greenlet实现协程,其基本思想是:

    当一个greenlet遇到IO操作时,比如访问网络,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。由于IO操作非常耗时,经常使程序处于等待状态,有了gevent为我们自动切换协程,就保证总有greenlet在运行,而不是等待IO。

    由于切换是在IO操作时自动完成,所以gevent需要修改Python自带的一些标准库,这一过程在启动时通过monkey patch完成:

    monkey 可以使一些阻塞的模块变得不在阻塞,机制:遇到IO操作时则自动切换,手动切换的话只能用到gevent.sleep(0)

    from gevent import monkey
    monkey.patch_all()
    import gevent
    from urllib import request
    import time

    def f(url):
    print('GET: %s' % url)
    resp = request.urlopen(url)
    data = resp.read()
    print('%d bytes received from %s.' % (len(data), url))

    start=time.time()

    gevent.joinall([
    gevent.spawn(f, 'https://itk.org/'),
    gevent.spawn(f, 'https://www.github.com/'),
    gevent.spawn(f, 'https://zhihu.com/'),
    ])

    # f('https://itk.org/')
    # f('https://www.github.com/')
    # f('https://zhihu.com/')

    print(time.time()-start)

    用法:

    gevent.spawn(函数名称,函数参数):开启协程

    gevent.joinall停止协程。

    四、协程的优缺点

    协程的好处:

    无需线程上下文切换的开销
    无需原子操作锁定及同步的开销
    方便切换控制流,简化编程模型
    高并发+高扩展性+低成本:一个CPU支持上万的协程都不是问题。所以很适合用于高并发处理。
    缺点:

    无法利用多核资源:协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上.当然我们日常所编写的绝大部分应用都没有这个必要,除非是cpu密集型应用。
    进行阻塞(Blocking)操作(如IO时)会阻塞掉整个程序

     

     
  • 相关阅读:
    ADB命令大全
    Backup your Android without root or custom recovery -- adb backup
    Content portal for Pocketables Tasker articles
    Is there a way to detect if call is in progress? Phone Event
    Tasker to proximity screen off
    Tasker to detect application running in background
    Tasker to create toggle widget for ES ftp service -- Send Intent
    Tasker to proximity screen on
    Tasker to answer incoming call by pressing power button
    Tasker to stop Poweramp control for the headset while there is an incoming SMS
  • 原文地址:https://www.cnblogs.com/niubin/p/7213925.html
Copyright © 2011-2022 走看看