zoukankan      html  css  js  c++  java
  • 【python】多线程queue导致的死锁问题

    写了个多线程的python脚本,结果居然死锁了。调试了一整天才找到原因,是我使用queue的错误导致的。

    为了说明问题,下面是一个简化版的代码。注意,这个代码是错的,后面会说原因和解决办法。

    import Queue
    import threading
    
    queue = Queue.Queue()
    
    def test(q):
        while True:
            if q.qsize() != 0:
                d = q.get()
                print d
            else:
                break
    
    def main():
        global queue
        n = 100
        for i in range(66):
            queue.put(i)
        
        threads = []
        for i in range(n)
            threads.append(threading.Thread(target=test, args = (queue,)))
        
        for i in range(n):
            threads[i].start()
        for i in range(n):
            threads[i].join()

    上面这个代码是会造成死锁的。原因就在下面这一小段。

        while True:
            if q.qsize() != 0:
                d = q.get()

    由于有多个线程同时运行此段代码,所以队列q是各个线程共享的。

    如果在q只剩一个数据的时候,有3个线程都运行到if q.qsize() != 0:,那么这3个线程都会满足此条件。从而继续运行。

    然后,在d = q.get()处,只有一个线程能够取到数据,此后队列为空,另外两个线程无法取得数据,从而锁死在此处。

    解决方法:加锁

    import Queue
    import threading
    
    queue = Queue.Queue()
    mutex = threading.Lock()
    
    def test(q):
        global mutex
        while True:
            mutex.acquire()
            if q.qsize() != 0:
                d = q.get()
                mutex.release()
                print d
            else:
                mutex.release()
                break
    
    def main():
        global queue
        n = 100
        for i in range(66):
            queue.put(i)
        
        threads = []
        for i in range(n)
            threads.append(threading.Thread(target=test, args = (queue,)))
        
        for i in range(n):
            threads[i].start()
        for i in range(n):
            threads[i].join()
  • 相关阅读:
    【leetcode】299. 猜数字游戏
    【leetcode】300. 最长递增子序列
    【leetcode】223. 矩形面积
    【leetcode】222. 完全二叉树的节点个数
    【leetcode】229. 求众数 II
    【leetcode】215. 数组中的第K个最大元素
    【leetcode】221. 最大正方形
    【leetcode】216. 组合总和 III
    【leetcode】213. 打家劫舍 II
    【leetcode】210. 课程表 II
  • 原文地址:https://www.cnblogs.com/dplearning/p/6947213.html
Copyright © 2011-2022 走看看