zoukankan      html  css  js  c++  java
  • day 38

    因为在cpython中有GIL锁的存在,导致cpython没有办法具备多核cpu的优势,只能使用单核并发进行开发,执行代码。

    这样的效率肯定是不高的,所以要有一个办法来提高效率。

    办法当然有,那就是让当前在执行的线程尽可能多的去使用持有cpu的执行时间,实现这样的操作就是检测线程的IO操作,让程序自行去

    切换到其他的计算任务这样就会比在原低等待io结束再去操作来的效率高。
    留住cpu是不现实的,只有真正将有限的执行利用起来才是王道。

    单线程实现并发

    单线程实现并发,一听到有些人一位是在说鬼话,但是是可以实现的。单核cpu可以通过切换线程来实现多线程的并发,在线程中切换任务也是可行的。

    如果线程可以检测IO操作并且将它设置为非阻塞,并自动切换到其他任务去执行这样就可以实现单线程的并发,提高cpu的利用率。

    如何能够实现并发呢

    并发 = 切换任务+保存状态,只要找到一种方案,能够在两个任务之间切换执行并且保存状态,那就可以实现单线程并发

    python中的生成器就具备这样一个特点,每次调用next都会回到生成器函数中执行代码,这意味着任务之间可以切换,并且是基于上一次运行的结果,这意味着生成器会自动保存执行状态!

    于是乎我们可以利用生成器来实现并发执行:

    def task1():
        while True:
            yield
            print("task1 run")
    
    def task2():
        g = task1()
        while True:
            next(g)
            print("task2 run")
    task2()

    这样就可以实现并发,但是如果什么时候都使用的那线程并发来执行程序的话并不是一定可以提高效率,以一个单线程并发和两个子线程单独来运行一个计算相关的程序来对比完成的时间。来具体的看出是否效率真的有提高。

    # 两个计算任务一个采用生成器切换并发执行  一个直接串行调用
    import  time
    def task1():
        a = 0
        for i in range(10000000):
            a += i
            yield
    
    def task2():
        g = task1()
        b = 0
        for i in range(10000000):
            b += 1
            next(g)
    s = time.time()
    task2()
    print("并发执行时间",time.time()-s)
    
    # 单线程下串行执行两个计算任务 效率反而比并发高 因为并发需要切换和保存
    def task1():
        a = 0
        for i in range(10000000):
            a += i
    def task2():
        b = 0
        for i in range(10000000):
            b += 1
    s = time.time()
    task1()
    task2()
    print("串行执行时间",time.time()-s)

    可以看出在纯计算的任务的时候单线程并发的执行的效率并不高,效率下降了一半左右,所以对于纯计算来说单线程并发

    是没有必要的。

    对于IO密集的任务来说,单线程并发是提高效率的最好方法。

    greenlet模块实现并发

    def task1(name):
        print("%s task1 run1" % name)
        g2.switch(name) # 切换至任务2
        print("task1 run2") 
        g2.switch() # 切换至任务2
    
    def task2(name):
        print("%s task2 run1" % name)
        g1.switch() # 切换至任务1
        print("task2 run2")
    
    g1 = greenlet.greenlet(task1)
    g2 = greenlet.greenlet(task2)
    g1.switch("jerry") # 为任务传参数

    这个模块在一定程度上简化了yield要书写的复杂的代码,实现了单线程并发,但是两个有共同的缺点就是并不能自己主动的去jiance

    IO需要我们手动去切换。所以又换了一种模块:gevent模块

    协程概述

    就是指的是的单线程实现并发的意思,在单线程中遇到IO操作后,除了时间片用完了,由操作系统来切换到其他任务来执行外

    而是用于程序来执行切换操作,继续执行该应用程序的的其他任务,就像聊天软件一样,当有一方还没有发送信息时,线程就会自动

    去执行别的用户发起的数据任务。

    优点: 1  协程的切换开销更小,属于程序级别的切换,操作系统完全感知不到,因而更加轻量级

       2  . 单线程内就可以实现并发的效果,最大限度地利用

    缺点:

    1. 协程的本质是单线程下,无法利用多核,可以是一个程序开启多个进程,每个进程内开启多个线程,每个线程内开启协程来尽可能提高效率
    2. 协程本质是单个线程,因而一旦协程出现阻塞,将会阻塞整个线程

    gevent协程的使用

    import gevent,sys
    from gevent import monkey # 导入monkey补丁
    monkey.patch_all() # 打补丁 
    import time
    
    print(sys.path)
    
    def task1():
        print("task1 run")
        # gevent.sleep(3)
        time.sleep(3)
        print("task1 over")
    
    def task2():
        print("task2 run")
        # gevent.sleep(1)
        time.sleep(1)
        print("task2 over")
    
    g1 = gevent.spawn(task1)
    g2 = gevent.spawn(task2)
    #gevent.joinall([g1,g2])
    g1.join()
    g2.join()
    # 执行以上代码会发现不会输出任何消息
    # 这是因为协程任务都是以异步方式提交,所以主线程会继续往下执行,而一旦执行完最后一行主线程也就结束了,
    # 导致了协程任务没有来的及执行,所以这时候必须join来让主线程等待协程任务执行完毕   也就是让主线程保持存活
    # 后续在使用协程时也需要保证主线程一直存活,如果主线程不会结束也就意味着不需要调用joi

    注意点:

    1.如果主线程结束了 协程任务也会立即结束。

    2.monkey补丁的原理是把原始的阻塞方法替换为修改后的非阻塞方法,即偷梁换柱,来实现IO自动切换

    必须在打补丁后再使用相应的功能,避免忘记,建议写在最上方

    monke补丁案例

    ### 
    
    ```python
    #myjson.py
    def dump():
        print("一个被替换的 dump函数")
    
    def load():
        print("一个被替换的 load函数")
    ```
    
    ```python
    # test.py
    import myjson
    import json
    # 补丁函数
    def monkey_pacth_json():
        json.dump = myjson.dump
        json.load = myjson.load
        
    # 打补丁
    monkey_pacth_json()
    
    # 测试 
    json.dump()
    json.load()
    # 输出:
    # 一个被替换的 dump函数
    # 一个被替换的 load函数
    ```
  • 相关阅读:
    Leetcode 217 存在重复
    Leetcode 125验证回文串
    HTML标签
    Having dreams is what makes life tolerable.
    Database数据库——MySQL简述
    Python实践之路8——选课系统
    Python学习之路16——线程、进程和协程
    Python实践之路7——计算器
    Python学习之路14——Socket
    Python学习之路13——异常处理
  • 原文地址:https://www.cnblogs.com/1624413646hxy/p/10986666.html
Copyright © 2011-2022 走看看