zoukankan      html  css  js  c++  java
  • 4 并发编程-(进程)-守护进程&互斥锁

    一、守护进程

    主进程创建子进程,然后将该进程设置成守护自己的进程,守护进程就好比崇祯皇帝身边的老太监,崇祯皇帝已死老太监就跟着殉葬了。

    关于守护进程需要强调两点:

    其一:守护进程会在主进程代码执行结束后就终止

    其二:守护进程内无法再开启子进程,否则抛出异常:AssertionError: daemonic processes are not allowed to have children

    如果我们有两个任务需要并发执行,那么开一个主进程和一个子进程分别去执行就ok了,如果子进程的任务在主进程任务结束后就没有存在的必要了,

    那么该子进程应该在开启前就被设置成守护进程。主进程代码运行结束,守护进程随即终止

    from multiprocessing import Process
    import time
    def task(name):
        print(f"{name} is running")
        time.sleep(2)
        print(f"{name} is done")
    if __name__ == '__main__':
        p = Process(target=task,args=('alex',))
        p.daemon = True #Daemon()程序是一直运行的服务端程序,又称为守护进程。
        p.start()
        print('')
    View Code

    子进程在主进程死后就没意义,就把  该子进程   设置成守护进程

    练习题:

    from multiprocessing import Process
    import  time
    def foo():
        print(123)
        time.sleep(3)
        print('end 123')
    def bar():
        print(456)
        time.sleep(3)
        print('end 456')
    if __name__ == '__main__':
        p1 = Process(target=foo)
        p2 = Process(target=bar)
        p1.daemon = True
        p1.start()
        p2.start()
        print('----主-----')
        # 主进程死,守护进程死
    
    ---------------------------------------------
    ----主-----
    456
    end 456
    View Code

    二、互斥锁

    进程之间数据不共享,但是共享同一套文件系统,所以访问同一个文件,或同一个打印终端,是没有问题的,而共享带来的是竞争,竞争带来的结果就是错乱,如下

    #1并发运行,效率高,但竞争同一打印终端,带来了打印错乱

    #并发运行,效率高,但竞争同一打印终端,带来了打印错乱
    from multiprocessing import Process
    import os,time
    def work():
        print('%s is running' %os.getpid())
        time.sleep(2)
        print('%s is done' %os.getpid())
    
    if __name__ == '__main__':
        for i in range(3):
            p=Process(target=work)
            p.start()
    7920,is running
    7592,is running
    7824,is running
    7920 is done
    7592 is done
    7824 is done
    View Code

    #2由并发变成了串行,牺牲了运行效率,但避免了竞争

    互斥锁的原理,就是把并发改成串行,降低了效率,但保证了数据安全不错乱

    from multiprocessing import Process,Lock
    import os,time
    def work(lock):
        lock.acquire() #加锁
        print('%s is running' %os.getpid())
        time.sleep(2)
        print('%s is done' %os.getpid())
        lock.release() #释放锁
    if __name__ == '__main__':
        lock=Lock()
        for i in range(3):
            p=Process(target=work,args=(lock,))
            p.start()
    
    7532,is running
    7532 is done
    7196,is running
    7196 is done
    7816,is running
    7816 is done
    View Code

    3、模拟抢票练习

    3.1并发运行,效率高,但竞争写同一文件,数据写入错乱,只有一张票,卖成功给了10个人

    多个进程共享同一文件,我们可以把文件当数据库,用多个进程模拟多个人执行抢票任务

    from multiprocessing import  Process
    import time,json
    def search(name):
        dic = json.load(open('db.txt','r'))
        time.sleep(1)
        print(f"{name} 查到余票数{dic['count']}")
    def get(name):
        dic = json.load(open('db.txt','r'))
        time.sleep(1)
        if dic['count'] > 0:
            dic['count'] -= 1
            time.sleep(1)#模拟写数据的网络延迟
            json.dump(dic,open('db.txt','w'))
            print(f"{name}购票成功")
    def task(name):
        search(name)
        get(name)
    if __name__ == '__main__':
        for i in range(10):
            name = f"<路人{i}>"
            p = Process(target=task,args=(name,))
            p.start()
    
    <路人0> 查到余票数1
    <路人2> 查到余票数1
    <路人1> 查到余票数1
    <路人7> 查到余票数1
    <路人3> 查到余票数1
    <路人4> 查到余票数1
    <路人6> 查到余票数1
    <路人5> 查到余票数1
    <路人8> 查到余票数1
    <路人9> 查到余票数1
    <路人0>购票成功
    <路人2>购票成功
    <路人1>购票成功
    <路人7>购票成功
    <路人3>购票成功
    <路人4>购票成功
    <路人6>购票成功
    <路人5>购票成功
    <路人8>购票成功
    <路人9>购票成功
    
    db.txt 中的数据为:{"count": 1}  运行后为:{"count": 0}

    View Code

    3.2、加锁处理:购票行为由并发变成了串行,牺牲了运行效率,但保证了数据安全。对购买后写入的操作加锁

    from multiprocessing import  Process,Lock
    import time,json
    def search(name):
        dic = json.load(open('db.txt','r'))
        time.sleep(1)
        print(f"{name} 查到余票数{dic['count']}")
    def get(name):
        dic = json.load(open('db.txt','r'))
        time.sleep(1)
        if dic['count'] > 0:
            dic['count'] -= 1
            time.sleep(1)#模拟写数据的网络延迟
            json.dump(dic,open('db.txt','w'))
            print(f"{name}购票成功")
    def task(name,lock):
        search(name)
        with lock: #相当于lock.acquire(),执行完自代码块自动执行lock.release()
            # 把写的操作 上锁
            get(name)
    if __name__ == '__main__':
        lock = Lock()
        for i in range(10):
            name = f"<路人{i}>"
            p = Process(target=task,args=(name,lock))
            p.start()
    
    <路人3> 查到余票数1
    <路人1> 查到余票数1
    <路人0> 查到余票数1
    <路人2> 查到余票数1
    <路人5> 查到余票数1
    <路人4> 查到余票数1
    <路人6> 查到余票数1
    <路人7> 查到余票数1
    <路人9> 查到余票数1
    <路人8> 查到余票数1
    <路人3>购票成功
    View Code

    4、互斥锁与join

    使用join可以将并发变成串行,互斥锁的原理也是将并发变成穿行,那我们直接使用join就可以了啊,为何还要互斥锁,说到这里我赶紧试了一下

    from multiprocessing import  Process,Lock
    import time,json
    def search(name):
        dic = json.load(open('db.txt','r'))
        time.sleep(1)
        print(f"{name} 查到余票数{dic['count']}")
    def get(name):
        dic = json.load(open('db.txt','r'))
        time.sleep(1)
        if dic['count'] > 0:
            dic['count'] -= 1
            time.sleep(1)#模拟写数据的网络延迟
            json.dump(dic,open('db.txt','w'))
            print(f"{name}购票成功")
    def task(name):
        search(name)
        #with lock: #相当于lock.acquire(),执行完自代码块自动执行lock.release()
            # 把写的操作 上锁
        get(name)
    if __name__ == '__main__':
        #lock = Lock()
        for i in range(10):
            name = f"<路人{i}>"
            p = Process(target=task,args=(name,))
            p.start()
            p.join()
    
    <路人0> 查到余票数1
    <路人0>购票成功
    <路人1> 查到余票数0
    <路人2> 查到余票数0
    <路人3> 查到余票数0
    <路人4> 查到余票数0
    <路人5> 查到余票数0
    <路人6> 查到余票数0
    <路人7> 查到余票数0
    <路人8> 查到余票数0
    <路人9> 查到余票数0
    View Code

    发现使用join将并发改成穿行,确实能保证数据安全,但问题是连查票操作也变成只能一个一个人去查了,很明显大家查票时应该是并发地去查询而无需考虑数据准确与否,此时join与互斥锁的区别就显而易见了,join是将一个任务整体串行,而互斥锁的好处则是可以将一个任务中的某一段代码串行,比如只让task函数中的get任务串行

    def task(name,):
        search(name) # 并发执行
    
        lock.acquire()
        get(name) #串行执行
        lock.release()

    5、总结

    加锁可以保证多个进程修改同一块数据时,同一时间只能有一个任务可以进行修改,即串行地修改,没错,速度是慢了,但牺牲了速度却保证了数据安全。

    虽然可以用文件共享数据实现进程间通信,但问题是:

    1、效率低(共享数据基于文件,而文件是硬盘上的数据)

    2、需要自己加锁处理

    因此我们最好找寻一种解决方案能够兼顾:

    1、效率高(多个进程共享一块内存的数据)

    2、帮我们处理好锁问题。

    这就是mutiprocessing模块为我们提供的基于消息的IPC通信机制:队列和管道。

    队列和管道都是将数据存放于内存中,而队列又是基于(管道+锁)实现的,可以让我们从复杂的锁问题中解脱出来,因而队列才是进程间通信的最佳选择。

    我们应该尽量避免使用共享数据,尽可能使用消息传递和队列,避免处理复杂的同步和锁问题,而且在进程数目增多时,往往可以获得更好的可获展性。

  • 相关阅读:
    朗志轻量级项目管理解决方案-RBAC角色权限模块介绍
    关于业务规则层、业务实体层、业务外观层、模型层的作用很不清楚,殷切期望解答
    已有类实例,现在想拥有另一个相同状态的实例,除了反序列化还有别的办法吗?
    签名工具
    请教一个winform程序设计上的问题
    在使用WeifenLuo Suite时遇到的问题,自己记录一下,备忘
    解读C#正则表达式
    [导入]jbuilder 2006开发struts+sqlserver2K准备工作
    如何用设计模式变相实现类的多继承?
    WriteXmlSchema(xsdFileName)和GetXmlSchema()输出的内容的差异
  • 原文地址:https://www.cnblogs.com/foremostxl/p/9728994.html
Copyright © 2011-2022 走看看