zoukankan      html  css  js  c++  java
  • python 进程池Pool的apply_async方法以及一些需要注意的地方

    在写多进程的时候我发现一个问题,用Pool的apply_async(异步非阻塞)的时候传入实例函数会出错,或者说是子进程被跳过似的感觉(python2.7)。

    但是用python3.7的话没有任何问题。

    code:

    # -*- coding:utf-8 -*-
    
    import multiprocessing
    import os
    import time
    
    
    class A(object):
        def __init__(self):
            pass
    
        @staticmethod
        def func(msg):
            print(msg)
            time.sleep(3)
            print('Child Process id : %s, Parent Process id : %s' % (os.getpid(), os.getppid()))
    
    if __name__ == '__main__':
        a = A()
        p = multiprocessing.Pool(multiprocessing.cpu_count())
        for i in range(5):
            p.apply_async(a.func, args=(i,))
        p.close()
        p.join()
        print('Parent process done!')

    output(python2.7):

    Parent process done!

    output(python3.7):

    0
    1
    2
    3
    Child Process id : 17284, Parent Process id : 22536
    4
    Child Process id : 4252, Parent Process id : 22536
    Child Process id : 4944, Parent Process id : 22536
    Child Process id : 11168, Parent Process id : 22536
    Child Process id : 17284, Parent Process id : 22536
    Parent process done!

    python3.7起实例函数的多线程时需要注意一个地方,主进程中的变量不会受到子进程的改变而改变。

    简而言之就是进程之间不能共享变量。

    code:

    # -*- coding:utf-8 -*-
    
    from multiprocessing import Pool
    import os
    import time
    
    
    class AA(object):
        def __init__(self):
            print('init')
            self.ab = 3
    
        def task(self, n):
            self.ab += n
            print("进程(%s), 收到%s, +n=%s" % (os.getpid(), n, self.ab))
    
    
    if __name__ == '__main__':
        aa = AA()
        p = Pool(4)
    
        for i in range(5):
            t = p.apply_async(func=aa.task, args=(i,))
    
        p.close()
        p.join()
        print("done !  主进程!aa.ab=%s" % aa.ab)
        print("主进程ID  %s " % os.getpid())

    output:

    init
    子进程(7544), 收到0, +n=0
    子进程(7544), 收到1, +n=1
    子进程(7544), 收到2, +n=2
    子进程(7544), 收到3, +n=3
    子进程(7544), 收到4, +n=4
    done ! 主进程!aa.ab=3
    主进程ID 17256

    -----------------------------手动分割----------------------------------

    不知道为什么所有子进程的id是一样的。在task方法中如果加个sleep语句的话,如time.sleep(3),

    那么子进程的id就是不同的,难道是因为执行的太快??欢迎知道的大咖在评论区告知一下小弟,谢谢!

  • 相关阅读:
    【leetcode】19. Remove Nth Node From End of List
    【leetcode】18. 4Sum
    【leetcode】371. Sum of Two Integers
    【leetcode】17. Letter Combinations of a Phone Number
    【leetcode】16. 3Sum Closest
    【leetcode】13. Roman to Integer
    【leetcode】15. 3Sum
    【leetcode】14. Longest Common Prefix
    【leetcode】368. Largest Divisible Subset
    Linux学习总结(十四) 文件的打包和压缩
  • 原文地址:https://www.cnblogs.com/renxchen/p/9909708.html
Copyright © 2011-2022 走看看