队列与进程池

队列Queue   （先进先出）

put

get    当没有值的时候会进入等待状态

from multiprocessing import Process,Queue
def func(q):
    print('子进程{}'.format(q.get()))
    q.put({"123":123})
if __name__ == '__main__':
    q=Queue()
    q.put(123)
    p=Process(target=func,args=(q,))
    p.start()
    p.join()
    print("主进程{}".format(q.get()))

子进程123
主进程{'123': 123}

put_nowait  

get_nowait     没有值的时候会报错

from multiprocessing import Queue
a=Queue(3)
a.put_nowait(1)
a.put_nowait(2)
a.put_nowait(3)
# a.put_nowait(4)     #报错queue.Full
print(a.get_nowait())
print(a.get_nowait())
print(a.get_nowait())
print(a.get_nowait())   #报错queue.Empty

empty

full

from multiprocessing import Queue
a=Queue(3)
print(a.empty())
print(a.full())

生产消费者模型

import time
import random
from multiprocessing import Process,Queue
def producer(q,name,cloth):
    for i in range(1,20):
        time.sleep(random.uniform(0.3,0.5))
        q.put('{}{}'.format(cloth,i))
        print('{}生产了{}{}'.format(name,cloth,i))
def customer(q,name):
    while 1:
        a=q.get()
        if a== None:break
        time.sleep(random.uniform(0.2,0.4))
        print("{}买了{}".format(name,a))
if __name__ == "__main__":
    q=Queue()
    p=Process(target=producer,args=(q,'tom',"T-shirt"))
    p.start()
    p1 = Process(target=customer, args=(q, 'mike'))
    p1.start()
    p.join()
    q.put(None)

进程池

计算密集型  　　充分利用cup，多进程可以充分利用多核

　　适合开启多进程，但是不适合开启很多多进程

IO密集型 　　　大部分时间都是在阻塞队伍，而不是在运行状态中

　　不适合开启多进程

同步提交 apply

　　返回值：子进程对应函数的返回值

　　一个一个顺序执行，并没有任何并发效果

from multiprocessing import Pool
def func(i):
    print("book{}".format(i))
if __name__ == '__main__':
    p=Pool(4)
    for i in range(1,11):
        p.apply(func,args=(i,))
同步

book1
book2
book3
book4
book5
book6
book7
book8
book9
book10

异步提交  apply_async

　　需要有close(),join(),

　　有返回值的时候用get()取值

from multiprocessing import Pool
import time
import random
def func(i):
    time.sleep(random.random())
    print("book{}".format(i))
if __name__ == '__main__':
    p=Pool(4)
    for i in range(1,11):
        p.apply_async(func,args=(i,))
    p.close()
    p.join()

map()方法   异步提交的简化，自带close和join

from multiprocessing import Pool
import time
import random
def func(i):
    time.sleep(random.random())
    print("book{}".format(i))
if __name__ == '__main__':
    p=Pool(4)
    p.map(func,range(1,11))

有返回值的时候，可以get()取值

from multiprocessing import Pool
def func(i):
    return i
if __name__ == '__main__':
    p=Pool()
    lis=[]
    for i in range(10):
        ret=p.apply_async(func,args=(i,))
        lis.append(ret)
    p.close()
    p.join()
    print(lis[0].get())