Python 35 进程间的通信（IPC机制）、生产者消费者模型

一：进程间的通信（IPC）：先进先出  管道：队列=管道+锁

from multiprocessing import Queue
q=Queue(4)
q.put(['first',],block=True,timeout=3)
q.put({'x':2},block=True,timeout=3)
q.put(3,block=True,timeout=3)
q.put(4,block=True,timeout=3)
print(q.get(block=True,timeout=3))
print(q.get(block=True,timeout=3))
print(q.get(block=True,timeout=3))
print(q.get(block=True,timeout=3))

from multiprocessing import Queue #Queued队列模块


q=Queue()

print(q.get())
print(q.get())
print(q.get())
print(q.get())

q.put(['first'],block=True,timeout=3)
q.put({'x':2},block=True,timeout=3)
q.put(3,block=True,timeout=3)


print(q.get(block=True,timeout=3))
print(q.get(block=True,timeout=3))
print(q.get(block=True,timeout=3))
print(q.get(block=True,timeout=3))


print(q.get_nowait()) #q.get(block=false)
print(q.get_nowait()) #q.get(block=false)
print(q.get_nowait()) #q.get(block=false)
print(q.get_nowait()) #q.get(block=false)

 

二：生产者消费者模型

1. 什么是生产者消费者模型
　　　　生产者:代指生产数据的任务
　　　　消费者:代指处理数据的任务
　　　　该模型的工作方式：生产生产数据传递消费者处理
　　　　实现方式: 生产者---->队列<------消费者

2. 为什么要用     
　　　　当程序中出现明细的两类任务,一类负责生产数据,一类负责处理数据，
　　　　就可以引入生产者消费者模型来实现生产者与消费者的解耦合,平衡生产能力与消费能力,从提升效率  

3. 如何用

import time, random
from multiprocessing import Process, Queue


def produer(name, food, q):
    for i in range(3):  # 生产的数量
        res = '%s%s' % (food, i)
        # 造数据
        time.sleep(random.randint(1, 3))  # 模拟生产数据的时间
        q.put(res)
        print('厨师【%s】做了<%s>' % (name, res))


def consumer(name, q):
    while True:
        res = q.get()
        if res is None: break  # 生产者生产完后break退出
        time.sleep(random.randint(1, 3))  # 模拟处理数据的时间
        print('吃货【%s】吃了<%s>' % (name, res))


if __name__ == '__main__':
    q = Queue()
    # 生产者们
    p1 = Process(target=produer, args=('小混世魔王', '包子', q))
    p2 = Process(target=produer, args=('中混世魔王', '馒头', q))
    p3 = Process(target=produer, args=('大混世魔王', '鸡蛋', q))

    # 消费者们
    c1 = Process(target=consumer, args=('扒皮', q))
    c2 = Process(target=consumer, args=('钢牙', q))

    p1.start()
    p2.start()
    p3.start()
    c1.start()
    c2.start()
    print('主')

存在问题

此时的问题是主进程永远不会结束，原因是：生产者p在生产完后就结束了，但是消费者c在取空了q之后，则一直处于死循环中且卡在q.get()这一步。

===>解决方式无非是让生产者在生产完毕后，往队列中再发一个结束信号，这样消费者在接收到结束信号后就可以break出死循环

import time, random
from multiprocessing import Process, Queue


def produer(name, food, q):
    for i in range(3):  # 生产的数量
        res = '%s%s' % (food, i)
        # 造数据
        time.sleep(random.randint(1, 3))  # 模拟生产数据的时间
        q.put(res)
        print('厨师【%s】做了<%s>' % (name, res))


def consumer(name, q):
    while True:
        res = q.get()
        if res is None: break  # 生产者生产完后break退出
        time.sleep(random.randint(1, 3))  # 模拟处理数据的时间
        print('吃货【%s】吃了<%s>' % (name, res))


if __name__ == '__main__':
    q = Queue()
    # 生产者们
    p1 = Process(target=produer, args=('小混世魔王', '包子', q))
    p2 = Process(target=produer, args=('中混世魔王', '馒头', q))
    p3 = Process(target=produer, args=('大混世魔王', '鸡蛋', q))

    # 消费者们
    c1 = Process(target=consumer, args=('扒皮', q))
    c2 = Process(target=consumer, args=('钢牙', q))

    p1.start()
    p2.start()
    p3.start()
    c1.start()
    c2.start()

    p1.join()
    p2.join()
    p3.join()  # 保证所有生产者生产完东西
    q.put(None)  # 所有生产者都生产完，在队列的最后加上None信号
    q.put(None)  # 给第二个消费者的信号
    print('主')

 ===>队列允许项目的使用者通知生成者项目已经被成功处理。通知进程是使用共享的信号和条件变量来实现的

import time, random
from multiprocessing import Process, JoinableQueue


def produer(name, food, q):
    for i in range(3):  # 生产的数量
        res = '%s%s' % (food, i)
        # 造数据
        time.sleep(random.randint(1, 3))  # 模拟生产数据的时间
        q.put(res)
        print('厨师【%s】做了<%s>' % (name, res))


def consumer(name, q):
    while True:
        res = q.get()
        time.sleep(random.randint(1, 3))  # 模拟处理数据的时间
        print('吃货【%s】吃了<%s>' % (name, res))
        q.task_done() #向q.join()发送一次信号，证明一个数据已经被取走了

if __name__ == '__main__':
    q = JoinableQueue()
    # 生产者们
    p1 = Process(target=produer, args=('小混世魔王', '包子', q))
    p2 = Process(target=produer, args=('中混世魔王', '馒头', q))
    p3 = Process(target=produer, args=('大混世魔王', '鸡蛋', q))

    # 消费者们
    c1 = Process(target=consumer, args=('扒皮', q))
    c2 = Process(target=consumer, args=('钢牙', q))

    p1.start()
    p2.start()
    p3.start()
    c1.start()
    c2.start()

    p1.join()
    p2.join()
    p3.join()  # 队列取空
    print('主')