zoukankan      html  css  js  c++  java
  • python编程中的并发------多进程multiprocessing

    任务例子:喝水、吃饭动作需要耗时1S

    单任务:(耗时20s)

    for i in range(10):

        print('a正在喝水')

        time.sleep(1)

        print('a正在吃饭')

        time.sleep(1)

    一、多进程(耗时10s)

    multiprocessing模块开启2个进程实现

    代码如下:

    import multiprocessing
    import time

    def start(fuc):
    for i in range(10):
    print('正在{}'.format(fuc))
    time.sleep(1)



    if __name__ == '__main__':
    p1 = multiprocessing.Process(target=start,args=('喝水',))
    p2 = multiprocessing.Process(target=start,args=('吃饭',))
    p1.start()
    p2.start()

    二、多进程:如何共享资源

    方案1:使用内置的消息队列Queue

    def start(fuc,q):
    for i in range(10):
    # 向队列中加入一个信息:fuc
    q.put(fuc)
    time.sleep(1)

    if __name__ == '__main__':
    # 定义一个消息队列,默认存储的队列信息为5个
    q = multiprocessing.Queue(5)
    p1 = multiprocessing.Process(target=start,args=('喝水',q))
    p2 = multiprocessing.Process(target=start,args=('吃饭',q))
    p1.start()
    p2.start()
    while True:
    # 从队列中取出一个信息(先放入的先被取出来)
    print(q.get())

    三、多进程:进程池

    当我们的任务很多时,或者任务数量不一定时,无限的创建进程会导致程序崩溃,可以固定使用几个进程来分配完成这些任务

    (比如10个新app需要研发,3个研发团队,一个个的去完成)

    def start(num):
    print('--开始执行任务{}--'.format(num))
    time.sleep(2)
    print('--结束执行任务{}--'.format(num))

    if __name__ == '__main__':
    # 定义一个进程池,至多开启2个进程
    pool = multiprocessing.Pool(2)
    # 向进程池中添加新任务
    pool.apply_async(start, args=(1,))
    pool.apply_async(start, args=(2,))
    pool.apply_async(start, args=(3,))
    pool.apply_async(start, args=(4,))
    # 关闭进程池
    pool.close()
    # 在此阻塞,等到进程池任务全部完成,子进程全部结束,再执行下面的代码
    # 如不阻塞等待,主进程如果在下面终止了,则子进程全部终止
    pool.join()
    
    

    pool.apply_async等待进程池关闭后开启同步执行子进程
    pool.apply本次添加进进程池的任务,添加的同时开始执行,结束了才开始下一次添加

    转载请注明出处!谢谢!
  • 相关阅读:
    03_线性表
    02_算法与数据结构
    01_python中内置类型的时间复杂度
    00_常见的时间复杂度
    03_docker导出和导入镜像
    09_创建mysql数据库的用户
    14_linux添加主机列表
    13_linux修改主机名
    12_centos7安装好后的网络设置
    00_使用pdb调试python代码
  • 原文地址:https://www.cnblogs.com/felix-g/p/13233246.html
Copyright © 2011-2022 走看看