Python3 三种Queue的异同

一、Queue（队列）

Queue是python中的标准库，可以直接import 引用，队列默认遵循先进先出原则。

import queue
q = queue.Queue(10)
# 向队列中添加元素
q.put('yang')
q.put(4)
q.put(['yan', 'xing'])

# 从队列中取出元素，默认的队列是先进先出的
q.get()
# 'yang'
q.get()
# 4
q.get()
# ['yan', 'xing']

当一个队列为空的时候如果再用get取则会堵塞，所以取队列的时候一般是用到get_nowait()方法，这种方法在向一个空队列取值的时候会抛一个Empty异常，所以更常用的方法是先判断一个队列是否为空，如果不为空则取值。

队列中常用的方法

Queue.qsize() 返回队列的大小  
Queue.empty() 如果队列为空，返回True,反之False  
Queue.full() 如果队列满了，返回True,反之False 
Queue.get([block[, timeout]]) 获取队列，timeout等待时间  
Queue.get_nowait() 相当Queue.get(False) 

非阻塞 Queue.put(item) 写入队列，timeout等待时间
Queue.put_nowait(item) 相当Queue.put(item, False)

二、multiprocessing中的Queue

multiprocessing中的Queue是多进程间进行通信的消息队列。

from multiprocessing import Process,Queue
import os,time,random

#写数据进程执行的代码：
def write(p):
    for value in ['A','B','C']:
        print ('Write---Before Put value---Put %s to queue...' % value)
        p.put(value)
        print ('Write---After Put value')
        time.sleep(random.random())
        print ('Write---After sleep')

#读数据进程执行的代码：
def read(p):
    while True:
        print ('Read---Before get value')
        value = p.get(True)
        print ('Read---After get value---Get %s from queue.' % value)

if __name__ == '__main__':
    #父进程创建Queue，并传给各个子进程：
    p = Queue()
    pw = Process(target=write,args=(p,))
    pr = Process(target=read,args=(p,))
    #启动子进程pw，写入：
    pw.start()
    #启动子进程pr，读取:
    pr.start()
    #等待pw结束：
    pw.join()
    #pr进程里是死循环，无法等待其结束，只能强行终止：
    pr.terminate()

三、multiprocessing.Manager.Queue

如果把上面的代码改成下面的样子：

if __name__=='__main__':    
    # 父进程创建Queue，并传给各个子进程：
    q = Queue()
    p = Pool()
    pw = p.apply_async(write,args=(q,))    
    pr = p.apply_async(read,args=(q,))
    p.close()
    p.join()

本意是将会得到一个队列，将其作为参数传入进程池子里的每个子进程，但是却得到报错：RuntimeError: Queue objects should only be shared between processes through inheritance。

大意是：队列对象不能在父子进程间通信。如果想要在进程池中使用队列，则要使用multiprocessing的Mananger类：

if __name__=='__main__':
    manager = multiprocessing.Manager()
    # 父进程创建Queue，并传给各个子进程：
    q = manager.Queue()
    p = Pool()
    pw = p.apply_async(write,args=(q,))
    time.sleep(0.5)
    pr = p.apply_async(read,args=(q,))
    p.close()
    p.join()

这样这个队列对象就可以在父进程与子进程间通信，不用池则不需要Manager。

总结

queue.Queue 是进程内非阻塞队列
multiprocess.Queue 是跨进程通信队列
前者是各自进程私有, 后者是各子进程共有
Manager.Queue和 Queue，multiprocessing.Queue本质上没有太大关系，但它们有相同的方法。