一、操作系统的作用与多道程序设计技术
操作系统的作用：
- 隐藏丑陋复杂的硬件接口，提供良好的抽象接口
- 管理、调度进程，并且将多个进程对硬件的竞争变得有序
多道程序设计技术：
在内存同时放若干道程序，使它们在系统中并发执行，共享系统中的各种资源。当一道程序暂停执行时，CPU立即转去执行另一道程序。
好处：
- 提高CPU的利用率
- 提高内存和I/O设备利用率
- 增加系统吞吐量
二、进程
进程是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，是操作系统结构的基础。在早期面向进程设计的计算机结构中，进程是程序的基本执行实体；在当代面向线程设计的计算机结构中，进程是线程的容器。程序是指令、数据及其组织形式的描述，进程是程序的实体。
进程的概念主要有两点：
- 第一，进程是一个实体。每一个进程都有它自己的地址空间，一般情况下，包括文本区域（text region）、数据区域（data region）和堆栈（stack region）。文本区域存储处理器执行的代码；数据区域存储变量和进程执行期间使用的动态分配的内存；堆栈区域存储着活动过程调用的指令和本地变量。
- 第二，进程是一个"执行中的程序"。程序是一个没有生命的实体，只有处理器赋予程序生命时（操作系统执行之），它才能成为一个活动的实体，我们称其为进程。
特征：
- 动态性：进程的实质是程序在多道程序系统中的一次执行过程，进程是动态产生，动态消亡的。
- 并发性：任何进程都可以同其他进程一起并发执行。
- 独立性：进程是一个能独立运行的基本单位，同时也是系统分配资源和调度的独立单位。
- 异步性：由于进程间的相互制约，使进程具有执行的间断性，即进程按各自独立的、不可预知的速度向前推进。
- 结构特征：进程由程序、数据和进程控制块三部分组成。
- 多个不同的进程可以包含相同的程序：一个程序在不同的数据集里就构成不同的进程，能得到不同的结果；但是执行过程中，程序不能发生改变。
进程与程序的区别：
- 程序是指令和数据的有序集合，其本身没有任何运行的含义，是一个静态的概念。而进程是程序在处理机上的一次执行过程，它是一个动态的概念。
- 程序可以作为一种软件资料长期存在，而进程是有一定生命期的。即程序是永久的，进程是暂时的。
PS：同一个程序执行两次，就会在操作系统中出现两个进程，所以我们可以同时运行一个软件，分别做不同的事情也不会混乱。
进程的并发与并行
并发：两个队列交替使用一台咖啡机；又比如单核CPU（资源有限）处理A、B两件事，但是同一时间只能处理一件事呀，那么可以先处理A一点，然后停下A去处理B一点，就这样交替使用。
并行：两个队列同时使用两台咖啡机；又比如多核CPU（资源够用）处理A、B两件事，CPU想：诶，这简单，我让CPU1去处理A、让CPU2去处理B（处理A和处理B是同时执行的）。
串行：这里多提一下，一个队列使用一台咖啡机，那么哪怕前面那个人便秘了去厕所呆半天，后面的人也只能死等着他回来才能去接咖啡（效率最低）。
同步与异步
同步和异步关注的是消息通信机制
所谓同步：就是在发出一个"调用"时，在没有得到结果之前，该"调用"就不返回；但是一旦"调用"返回，就得到返回值了（要么成功都成功，要么失败都失败，两个任务的状态可以保持一致）。换句话说，就是由"调用者"主动等待这个"调用"的结果。
所谓异步："调用"在发出之后，这个"调用"就直接返回了，所以没有返回结果。换句话说，当一个异步过程"调用"发出后，调用者不会立刻得到结果，而是在"调用"发出后，"被调用者"通过状态、通知来告知"调用者"，或通过回调函数处理这个"调用"。
你打电话问书店老板有没有《MYSQL从删库到跑路》这本书； 同步通信机制：书店老板会说，您稍等，"我查一下"，然后开始查啊查，等查好了（可能只要几秒，也可能需要几天）就告诉你结果（返回结果）。 异步通信机制：书店老板直接告诉你："我查一下，查好了打电话通知你"，然后直接挂电话了（不返回结果）。等到查好了，他会主动打电话给你。在这里老板通过"回电"这种方式来回调。
阻塞与非阻塞
阻塞和非阻塞关注的是程序在等待调用结果（消息，返回值）时的状态
阻塞调用：指在调用结果返回之前，当前线程会被挂起；调用线程只有在得到结果之后才会返回。
非阻塞调用：指在不能立刻得到结果之前，该调用不会阻塞当前线程。
你打电话问书店老板有没有《MYSQL从删库到跑路》这本书；
阻塞式调用：你会一直把自己"挂起"，直到得到这本书有没有的结果。
非阻塞式调用：你不管老板有没有告诉你，你自己先一边去玩了，当然你也要偶尔过几分钟check一下老板有没有返回结果。
PS：在这里；阻塞非阻塞与是否同步异步无关；跟老板通过什么方式回答你结果也无关。
三、在python程序中的进程操作
分四个部分 创建进程部分，进程同步部分，进程池部分，进程之间数据共享 讲解。
3.1 process模块介绍
process模块是一个创建进程的模块，借助这个模块，就可以完成进程的创建。
# multiprocessing.Process()接收参数的： group 未使用，值始终为None target 调用对象，即子进程要执行的任务 args 调用对象的参数，是一个元组，args=("pd", 18) kwargs 调用对象的参数，是一个字典, kwargs={"name":"pd","age":18} name 子进程的名称 # 注意： 需要使用关键字的方式来指定参数 args指定的是一个元祖，即使1个参数，也带逗号
# multiprocessing.Process()对象的方法 p.start() 启动进程，并调用该子进程中的p.run() p.run() 进程启动时运行的方法，正是它去调用target指定的函数，我们自定义类的类中一定要实现该方法。 p.terminate() 强制终止进程p，不会进行任何清理操作，如果p创建了子进程，该子进程就成了僵尸进程，使用该方法需要特别小心这种情况。如果p还保存了一个锁那么也将不会被释放，进而导致死锁。 p.is_alive() 如果p仍然运行，返回True。 p.join([timeout]) 主进程等待p终止（强调：是主进程处于等的状态，而p是处于运行的状态）。timeout是可选的超时时间，需要强调的是，p.join只能join住start开启的进程，而不能join住run开启的进程。
# multiprocessing.Process()对象的属性 p.daemon 默认值为False，如果设为True，代表p为后台运行的守护进程，当p的父进程终止时，p也随之终止，并且设定为True后，p不能创建自己的新进程，必须在p.start()之前设置。 p.name 进程的名称 p.pid 进程的pid p.exitcode 进程在运行时为None，如果为–N，表示被信号N结束(了解即可) p.authkey: 进程的身份验证键，默认是由 os.urandom() 随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性，这类连接只有在具有相同的身份验证键时才能成功（了解即可）
在windows中使用process模块的注意事项：
在Windows操作系统中由于没有fork（linux操作系统中创建进程的机制），在创建子进程的时候会自动 import 启动它的这个文件，而在 import 的时候又执行了整个文件。因此如果将 process() 直接写在文件中就会无限递归创建子进程报错。所以必须把创建子进程的部分使用 if __name__ =="__main__" 判断保护起来，import 的时候 ，就不会递归运行了。
3.2 创建进程
import os import time import multiprocessing def task(args1, args2): time.sleep(3) print("*"*20) print("子进程 :", os.getpid()) print("子进程的父进程 :", os.getppid()) print("*"*20) if __name__ == "__main__": p = multiprocessing.Process(target=task, args=("参数1", "参数2")) p.start() # 开启一个子进程 print("="*20) print("父进程 :", os.getpid()) # 查看当前进程的进程号 print("父进程的父进程 :", os.getppid()) # 查看当前进程的父进程；这里使用的是Pycharm，所以父进程的父进程就是Pycharm print("="*20)
import os import time import multiprocessing def task(args1, args2): time.sleep(3) print("*"*20) print("子进程 :", os.getpid()) print("子进程的父进程 :", os.getppid()) print("*"*20) if __name__ == "__main__": p = multiprocessing.Process(target=task, args=("参数1", "参数2")) p.start() # 开启一个子进程 p.join() print("="*20) print("父进程 :", os.getpid()) # 查看当前进程的进程号 print("父进程的父进程 :", os.getppid()) # 查看当前进程的父进程；这里使用的是Pycharm，所以父进程的父进程就是Pycharm print("="*20)
开启多个子进程同时运行（注意，子进程的执行顺序不是根据启动顺序决定的，而是由CPU调度决定）：
import time import multiprocessing def task(i): print(i) time.sleep(5) if __name__ == "__main__": for i in range(5): p = multiprocessing.Process(target=task, args=(i,)) p.start() # 结果是立即同时打印的，没有等待 """ 3 2 0 4 1 """
多进程同时运行，join()对比：
import time import multiprocessing def task(i): print(i) time.sleep(1) if __name__ == "__main__": for i in range(5): p = multiprocessing.Process(target=task, args=(i,)) p.start() print("主进程") # 不使用join()，同时执行 """ 主进程 2 1 3 0 4 """ ############################################################ import time import multiprocessing def task(i): print(i) time.sleep(1) if __name__ == "__main__": for i in range(5): p = multiprocessing.Process(target=task, args=(i,)) p.start() p.join() print("主进程") # 使用join()，等待 """ 0 1 2 3 4 主进程 """
继承Process类的形式创建进程
import multiprocessing class MyProcess(multiprocessing.Process): # 自定义的类必须继承Process def __init__(self,arg1,arg2): super().__init__() self.arg1 = arg1 self.arg2 = arg2 def run(self): # 必须实现一个run方法，run方法中是在子进程中执行的代码 print(self.pid) print(self.name) print(self.arg1) print(self.arg2) if __name__ == "__main__": p1 = MyProcess(1, 2) p1.start() p2 = MyProcess(3, 4) p2.start() """ 3328 MyProcess-1 1 2 4296 MyProcess-2 3 4 """
进程之间的数据隔离问题：
import multiprocessing def task(): global n n = 200 print("子进程内：", n) if __name__ == "__main__": n = 100 p = multiprocessing.Process(target=task) p.start() p.join() print("主进程内：", n)
守护进程:
守护进程会随着主进程的结束而结束。
主进程创建守护进程：
- 守护进程会在主进程代码执行结束后就终止；
- 守护进程内无法再开启子进程，否则抛出异常。
import time import multiprocessing def func1(): while True: time.sleep(0.2) print("still alive") def func2(): print("func2") if __name__ == "__main__": p1 = multiprocessing.Process(target=func1) p1.daemon = True # 一定要在p1.start()前设置，设置p1为守护进程 p1.start() p2 = multiprocessing.Process(target=func2) p2.start() p2.terminate() # 结束一个子进程 time.sleep(1) print(p2.is_alive()) # 检验一个进程是否还活着
进程的生命周期：
主进程；
子进程，从start()开始；
开启了子进程的主进程 :
主进程自己的代码如果长，等待自己的代码执行结束；
子进程的执行时间长，主进程会在自己的代码执行完毕之后等待子进程执行完毕，然后主进程才结束。
3.3 进程同步
多个任务可以同时在几个进程中并发处理，他们之间的运行没有顺序，一旦开启也不受我们控制。尽管并发编程让我们能更加充分的利用IO资源，但是也给我们带来了新的问题。当多个进程使用同一份数据资源的时候，就会引发数据安全或顺序混乱问题。
锁（Lock）
import os import time import random import multiprocessing def task(n): print("%s: %s is running" % (n,os.getpid())) time.sleep(random.random()) print("%s：%s is done" % (n,os.getpid())) if __name__ == "__main__": for i in range(1, 4): p=multiprocessing.Process(target=task, args=(i,)) p.start() """ 2: 3936 is running 3: 5068 is running 1: 1688 is running 3：5068 is done 2：3936 is done 1：1688 is done """
import os import time import random import multiprocessing def task(n, lock): lock.acquire() print("%s: %s is running" % (n,os.getpid())) time.sleep(random.random()) print("%s：%s is done" % (n,os.getpid())) lock.release() if __name__ == "__main__": lock = multiprocessing.Lock() for i in range(1, 4): p=multiprocessing.Process(target=task, args=(i,lock)) p.start() """ 2: 2068 is running 2：2068 is done 1: 7028 is running 1：7028 is done 3: 5260 is running 3：5260 is done """
上面这种情况虽然使用加锁的形式实现了顺序的执行，但是程序变成串行了，这样确实会浪费了时间，但保证了数据的安全。
以模拟抢票为例，来看看数据安全的重要性（1.txt文件中内容为：{"ticket": 1}），如下：
import time import json import multiprocessing def buy_ticket(i,lock): with open("1.txt") as f: d = json.load(f) time.sleep(0.1) # 模拟读数据的网络延迟 if d["ticket"] > 0 : d["ticket"] -= 1 print(" 33[32m%s买到票了 33[0m"%i) else: print(" 33[31m%s没买到票 33[0m"%i) time.sleep(0.1) # 模拟写数据的网络延迟 with open("1.txt", "w") as f: json.dump(d, f) if __name__ == "__main__": for i in range(1, 6): p = multiprocessing.Process(target=buy_ticket, args=(i,1)) p.start()
import time import json import multiprocessing def buy_ticket(i,lock): lock.acquire() # 拿钥匙开门 with open("1.txt") as f: d = json.load(f) time.sleep(0.1) # 模拟读数据的网络延迟 if d["ticket"] > 0 : d["ticket"] -= 1 print(" 33[32m%s买到票了 33[0m"%i) else: print(" 33[31m%s没买到票 33[0m"%i) time.sleep(0.1) # 模拟写数据的网络延迟 with open("1.txt", "w") as f: json.dump(d, f) lock.release() # 还钥匙 if __name__ == "__main__": lock = multiprocessing.Lock() # 得到锁对象 for i in range(1, 6): p = multiprocessing.Process(target=buy_ticket, args=(i,lock)) p.start()
# 加锁可以保证多个进程修改同一块数据时，同一时间只能有一个任务可以进行修改，即串行地修改，没错，速度是慢了，但牺牲了速度却保证了数据安全。 虽然可以用文件共享数据实现进程间通信，但问题是： 1.效率低（共享数据基于文件，而文件是硬盘上的数据） 2.需要自己加锁处理 # 因此我们最好找寻一种解决方案能够兼顾：1、效率高（多个进程共享一块内存的数据）2、帮我们处理好锁问题。这就是mutiprocessing模块为我们提供的基于消息的IPC通信机制：队列和管道。 队列和管道都是将数据存放于内存中 队列又是基于（管道+锁）实现的，可以让我们从复杂的锁问题中解脱出来， 我们应该尽量避免使用共享数据，尽可能使用消息传递和队列，避免处理复杂的同步和锁问题，而且在进程数目增多时，往往可以获得更好的可获展性。
信号量（Semaphore）了解
互斥锁同时只允许一个线程更改数据，而信号量Semaphore是同时允许一定数量的线程更改数据。
# 假设商场里有4个迷你唱吧，所以同时可以进去4个人，如果来了第五个人就要在外面等待，等到有人出来才能再进去玩。 实现： 信号量同步基于内部计数器，每调用一次acquire()，计数器减1；每调用一次release()，计数器加1。当计数器为0时，acquire()调用被阻塞。这是迪科斯彻（Dijkstra）信号量概念P()和V()的Python实现。信号量同步机制适用于访问像服务器这样的有限资源。
import time import random import multiprocessing def ktv(i, sem): sem.acquire() # 获取钥匙 print(" 33[32m%s走进ktv 33[0m" % i) time.sleep(random.random()) print(" 33[31m%s走出ktv 33[0m" % i) sem.release() # 归还钥匙 if __name__ == "__main__" : sem = multiprocessing.Semaphore(4) for i in range(5): p = multiprocessing.Process(target=ktv, args=(i, sem)) p.start()
PS：信号量与进程池的概念很像，但是要区分开，信号量涉及到加锁的概念。
事件（Event）了解
# Python线程的事件用于主线程控制其他线程的执行，事件主要提供了三个方法 set、wait、clear。 # 事件处理的机制 全局定义了一个"Flag"，如果"Flag"值为 False，那么当程序执行 event.wait() 方法时就会阻塞，如果"Flag"值为 True，那么event.wait() 方法时便不再阻塞。 event.clear() # 将"Flag"设置为False event.set() # 将"Flag"设置为True
import time import multiprocessing def car(n, e): if not e.is_set(): # 进程刚开启，e.is_set()的值是False print("红灯亮：%s号车停了下来" % n) e.wait() # 阻塞，等待e.is_set()的值变成True print("绿灯亮：%s号车走了" % n) def traffic_lights(e): while True: if not e.is_set(): print("红灯") time.sleep(4) e.set() # 将e.is_set()的值设置为True print("绿灯") time.sleep(4) e.clear() # 将e.is_set()的值设置为False if __name__ == "__main__": e = multiprocessing.Event() for i in range(1, 5): p1 = multiprocessing.Process(target=car, args=(i, e)) # 创建8个进程控制8辆车 p1.start() p2 = multiprocessing.Process(target=traffic_lights, args=(e,)) # 创建一个进程模拟红绿灯 p2.start()
3.4 进程间通信
IPC（Inter-Process Communication）
队列（Queue）
创建共享的进程队列，Queue是多进程安全的队列，可以使用Queue实现多进程之间的数据传递。
Queue([maxsize])
创建共享的进程队列。
参数 ：maxsize是队列中允许的最大项数。如果省略此参数，则无大小限制。
底层队列使用管道和锁定实现。
Queue([maxsize]) 创建共享的进程队列。maxsize是队列中允许的最大项数。如果省略此参数，则无大小限制。底层队列使用管道和锁定实现。另外，还需要运行支持线程以便队列中的数据传输到底层管道中。 Queue的实例q具有以下方法： # q.get( [ block [ ,timeout ] ] ) 返回q中的一个项目。如果q为空，此方法将阻塞，直到队列中有项目可用为止。block用于控制阻塞行为，默认为True. 如果设置为False，将引发Queue.Empty异常（定义在Queue模块中）。timeout是可选超时时间，用在阻塞模式中。如果在制定的时间间隔内没有项目变为可用，将引发Queue.Empty异常。 # q.get_nowait( ) 同q.get(False)方法。 # q.put(item [, block [,timeout ] ] ) 将item放入队列。如果队列已满，此方法将阻塞至有空间可用为止。block控制阻塞行为，默认为True。如果设置为False，将引发Queue.Empty异常（定义在Queue库模块中）。timeout指定在阻塞模式中等待可用空间的时间长短。超时后将引发Queue.Full异常。 # q.qsize() 返回队列中目前项目的正确数量。此函数的结果并不可靠，因为在返回结果和在稍后程序中使用结果之间，队列中可能添加或删除了项目。在某些系统上，此方法可能引发NotImplementedError异常。 # q.empty() 如果调用此方法时 q为空，返回True。如果其他进程或线程正在往队列中添加项目，结果是不可靠的。也就是说，在返回和使用结果之间，队列中可能已经加入新的项目。 # q.full() 如果q已满，返回为True. 由于线程的存在，结果也可能是不可靠的（参考q.empty（）方法）。
# q.close() 关闭队列，防止队列中加入更多数据。调用此方法时，后台线程将继续写入那些已入队列但尚未写入的数据，但将在此方法完成时马上关闭。如果q被垃圾收集，将自动调用此方法。关闭队列不会在队列使用者中生成任何类型的数据结束信号或异常。例如，如果某个使用者正被阻塞在get（）操作上，关闭生产者中的队列不会导致get（）方法返回错误。 # q.cancel_join_thread() 不会再进程退出时自动连接后台线程。这可以防止join_thread()方法阻塞。 # q.join_thread() 连接队列的后台线程。此方法用于在调用q.close()方法后，等待所有队列项被消耗。默认情况下，此方法由不是q的原始创建者的所有进程调用。调用q.cancel_join_thread()方法可以禁止这种行为。
代码示例：
import multiprocessing q = multiprocessing.Queue(3) q.put(1) q.put(2) q.put(3) # q.put(4) # 如果队列已经满了，程序就会停在这里，等待数据被别人取走，再将数据放入队列。 # 如果队列中的数据一直不被取走，程序就会永远停在这里。 try: q.put_nowait(4) # 可以使用put_nowait()，如果队列满了不会阻塞，但是会因为队列满了而报错。 except: # 因此我们可以用一个try语句来处理这个错误；这样程序不会一直阻塞下去，但是会丢掉这个消息。 print("队列已经满了") # 所以，在放入数据之前，可以先看一下队列的状态，如果已经满了，就不继续put了。 print(q.full()) # 检测队列是否满了 print(q.get()) print(q.get()) print(q.get()) # print(q.get()) # 同put方法一样，如果队列已经空了，那么继续取就会出现阻塞。 try: q.get_nowait() # 可以使用get_nowait()，如果队列满了不会阻塞，但是会因为没取到值而报错。 except: # 因此我们可以用一个try语句来处理这个错误；这样程序不会一直阻塞下去。 print("队列已经空了") print(q.empty()) # 检测队列是否为空
上面这个例子还没有加入进程通信，只是先来看看队列为我们提供的方法，以及这些方法的使用和现象。
import multiprocessing def task(q): q.put(["佩奇", "乔治"]) if __name__ == "__main__": q = multiprocessing.Queue() p = multiprocessing.Process(target=task, args=(q,)) p.start() p.join() print(q.get()[0]) # 佩奇
上面是一个queue的简单应用，使用队列q对象调用get函数来取得队列中最先进入的数据。 接下来看一个稍微复杂一些的例子：
import os import datetime import multiprocessing # 向queue中输入数据的函数 def input_q(q): info = str(os.getpid()) + "(put):" + str(datetime.date.today()) q.put(info) # 向queue中输出数据的函数 def output_q(q): info = q.get() print (str(os.getpid()), "(get):", info) if __name__ == "__main__": multiprocessing.freeze_support() list1 = [] # store input processes list2 = [] # store output processes q = multiprocessing.Queue(1) # 输入进程 for i in range(5): p = multiprocessing.Process(target=input_q, args=(q,)) p.start() list1.append(p) # 输出进程 for i in range(5): p = multiprocessing.Process(target=output_q, args=(q,)) p.start() list2.append(p) for p in list1: p.join() for p in list2: p.join()
生产者消费者模型：
在并发编程中使用生产者和消费者模式能够解决绝大多数并发问题；该模式通过平衡生产线程和消费线程的工作能力来提高程序的整体处理数据的速度。
为什么要使用生产者和消费者模式？
在线程世界里，生产者就是生产数据的线程，消费者就是消费数据的线程。在多线程开发当中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个问题于是引入了生产者和消费者模式。
什么是生产者消费者模式？
生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。
import os, time, random, multiprocessing def consumer(q): while True: data = q.get() time.sleep(random.randint(1,3)) print(" 33[31m%s 消化了 %s 33[0m" %(os.getpid(), data)) def producer(q): for i in range(1, 6): time.sleep(random.randint(1,3)) data = "包子%s" % i q.put(data) print(" 33[32m%s 生产了 %s 33[0m" %(os.getpid(), data)) if __name__ == "__main__": q = multiprocessing.Queue() p1 = multiprocessing.Process(target=producer,args=(q,)) # 生产者们 p2 = multiprocessing.Process(target=consumer,args=(q,)) # 消费者们 p1.start() p2.start() print("主进程")
此时的问题是主进程永远不会结束，原因是：生产者在生产完后就结束了，但是消费者在取空了q之后，则一直处于死循环中且卡在q.get()这一步。
解决方式无非是让生产者在生产完毕后，往队列中再发一个结束信号，这样消费者在接收到结束信号后就可以break退出死循环。、
import os, time, random, multiprocessing def consumer(q): while True: data = q.get() if not data: # 收到结束信号则结束 break time.sleep(random.randint(1,3)) print(" 33[31m%s 消化了 %s 33[0m" %(os.getpid(), data)) def producer(q): for i in range(1, 6): time.sleep(random.randint(1,3)) data = "包子%s" % i q.put(data) print(" 33[32m%s 生产了 %s 33[0m" %(os.getpid(), data)) q.put(None) # 发送结束信号 if __name__ == "__main__": q = multiprocessing.Queue() p1 = multiprocessing.Process(target=producer,args=(q,)) # 生产者们 p2 = multiprocessing.Process(target=consumer,args=(q,)) # 消费者们 p1.start() p2.start() print("主进程")
注意：结束信号None，不一定要由生产者发，主进程里同样可以发，但主进程需要等生产者结束后才应该发送该信号，相信聪明的你一定懂了。提示：join()
但上述解决方式，在有多个生产者和多个消费者时，我们则需要用一个很low的方式去解决：
import os, time, random, multiprocessing def consumer(q): while True: data = q.get() if not data: # 收到结束信号则结束 break time.sleep(random.randint(1,3)) print(" 33[31m%s 消化了 %s 33[0m" %(os.getpid(), data)) def producer(q, food): for i in range(1, 3): time.sleep(random.randint(1,3)) data = "%s%s" % (food, i) q.put(data) print(" 33[32m%s 生产了 %s 33[0m" %(os.getpid(), data)) if __name__ == "__main__": q = multiprocessing.Queue() p1 = multiprocessing.Process(target=producer,args=(q, "水煮肉")) p2 = multiprocessing.Process(target=producer,args=(q, "白切鸡")) p3 = multiprocessing.Process(target=producer,args=(q, "麻辣烫")) c1 = multiprocessing.Process(target=consumer,args=(q,)) c2 = multiprocessing.Process(target=consumer,args=(q,)) p1.start() p2.start() p3.start() c1.start() c2.start() p1.join() # 保证生产者全部生产完毕,才应该发送结束信号 p2.join() p3.join() q.put(None) # 有几个消费者就应该发送几次结束信号None q.put(None) print("主进程")
JoinableQueue([maxsize])
创建可连接的共享进程队列。这就像是一个Queue对象，但队列允许项目的使用者通知生产者项目已经被成功处理。通知进程是使用共享的信号和条件变量来实现的。
# JoinableQueue的实例q除了与Queue对象相同的方法之外，还具有以下方法： # q.task_done() 使用者使用此方法发出信号，表示q.get()返回的项目已经被处理。如果调用此方法的次数大于从队列中删除的项目数量，将引发ValueError异常。 # q.join() 生产者将使用此方法进行阻塞，直到队列中所有项目均被处理。阻塞将持续到为队列中的每个项目均调用q.task_done()方法为止。
下面的例子说明如何建立永远运行的进程，使用和处理队列上的项目。生产者将项目放入队列，并等待它们被处理。
import os, time, random, multiprocessing def consumer(q): while True: data = q.get() time.sleep(random.randint(1,3)) print(" 33[31m%s 消化了 %s 33[0m" %(os.getpid(), data)) q.task_done() def producer(q, food): for i in range(1, 3): time.sleep(random.randint(1,3)) data = "%s%s" % (food, i) q.put(data) print(" 33[32m%s 生产了 %s 33[0m" %(os.getpid(), data)) q.join() # 阻塞，直到一个队列中的所有数据全部被处理完毕 if __name__ == "__main__": q = multiprocessing.JoinableQueue() # 生产者们 p1 = multiprocessing.Process(target=producer,args=(q, "水煮肉")) p2 = multiprocessing.Process(target=producer,args=(q, "白切鸡")) p3 = multiprocessing.Process(target=producer,args=(q, "麻辣烫")) # 消费者们 c1 = multiprocessing.Process(target=consumer,args=(q,)) c2 = multiprocessing.Process(target=consumer,args=(q,)) c1.daemon = True c2.daemon = True # 开始 process_list = [p1, p2, p3, c1, c2] for p in process_list: p.start() p1.join() p2.join() p3.join() print("主进程") # 主进程等 --> p1、p2、p3等 --> c1、c2 """ p1、p2、p3结束了,证明c1、c2肯定全都取完了p1、p2、p3发到队列的数据； 因而c1、c2也没有存在的价值了,不需要继续阻塞在进程中影响主进程了。应该随着主进程的结束而结束，所以设置成守护进程就可以了。 """
管道（Pipe）了解
#创建管道的类： Pipe([duplex]):在进程之间创建一条管道，并返回元组（conn1,conn2）,其中conn1，conn2表示管道两端的连接对象，强调一点：必须在产生Process对象之前产生管道 #参数介绍： dumplex:默认管道是全双工的，如果将duplex射成False，conn1只能用于接收，conn2只能用于发送。 #主要方法： conn1.recv():接收conn2.send(obj)发送的对象。如果没有消息可接收，recv方法会一直阻塞。如果连接的另外一端已经关闭，那么recv方法会抛出EOFError。 conn1.send(obj):通过连接发送对象。obj是与序列化兼容的任意对象 #其他方法： conn1.close():关闭连接。如果conn1被垃圾回收，将自动调用此方法 conn1.fileno():返回连接使用的整数文件描述符 conn1.poll([timeout]):如果连接上的数据可用，返回True。timeout指定等待的最长时限。如果省略此参数，方法将立即返回结果。如果将timeout射成None，操作将无限期地等待数据到达。 conn1.recv_bytes([maxlength]):接收c.send_bytes()方法发送的一条完整的字节消息。maxlength指定要接收的最大字节数。如果进入的消息，超过了这个最大值，将引发IOError异常，并且在连接上无法进行进一步读取。如果连接的另外一端已经关闭，再也不存在任何数据，将引发EOFError异常。 conn.send_bytes(buffer [, offset [, size]])：通过连接发送字节数据缓冲区，buffer是支持缓冲区接口的任意对象，offset是缓冲区中的字节偏移量，而size是要发送字节数。结果数据以单条消息的形式发出，然后调用c.recv_bytes()函数进行接收 conn1.recv_bytes_into(buffer [, offset]):接收一条完整的字节消息，并把它保存在buffer对象中，该对象支持可写入的缓冲区接口（即bytearray对象或类似的对象）。offset指定缓冲区中放置消息处的字节位移。返回值是收到的字节数。如果消息长度大于可用的缓冲区空间，将引发BufferTooShort异常。
from multiprocessing import Process from multiprocessing import Pipe def func(conn1, conn2): conn2.close() # 不写close将不会引发EOFError while True: try: msg = conn1.recv() print(msg) except EOFError: conn1.close() break if __name__ == '__main__': conn1, conn2 = Pipe() p = Process(target=func, args=(conn1, conn2)) p.start() conn1.close() for i in range(5): conn2.send("hello") conn2.close()
加锁控制操作管道的行为，避免进程之间争抢数据而造成数据不安全：
from multiprocessing import Process from multiprocessing import Pipe from multiprocessing import Lock def consumer(produce, consume, name, lock): produce.close() while True: lock.acquire() ret = consume.recv() lock.release() if ret: print("%s 收到 玩具%s" % (name, ret)) else: consume.close() break def producer(produce, consume): consume.close() for i in range(1, 11): produce.send(i) produce.send(None) produce.send(None) produce.close() if __name__ == '__main__': produce, consume = Pipe() lock = Lock() c1 = Process(target=consumer, args=(produce, consume, "AA", lock)) c2 = Process(target=consumer, args=(produce, consume, "BB", lock)) p1 = Process(target=producer, args=(produce, consume)) c1.start() c2.start() p1.start() produce.close() consume.close()
3.5进程之间的数据共享
展望未来，基于消息传递的并发编程是大势所趋；
即便是使用线程，推荐做法也是将程序设计为大量独立的线程集合，通过消息队列交换数据。
这样极大地减少了对使用锁定和其他同步手段的需求，还可以扩展到分布式系统中。
但进程间应该尽量避免通信，即便需要通信，也应该选择进程安全的工具来避免加锁带来的问题。
以后我们会尝试使用数据库来解决现在进程之间的数据共享问题。
import multiprocessing def func(d, l): l.acquire() # 不加锁而操作共享的数据,肯定会出现数据错乱 d["count"] -= 1 l.release() print(d) if __name__ == "__main__": m = multiprocessing.Manager() l = multiprocessing.Lock() d = m.dict({"count": 100}) process_list = [] for i in range(50): p = multiprocessing.Process(target=func, args=(d, l)) process_list.append(p) p.start() for p in process_list: p.join()
四、进程池（重要）
为什么要有进程池?
在程序实际处理问题过程中，忙时会有成千上万的任务需要被执行，闲时可能只有零星任务。那么在成千上万个任务需要被执行的时候，我们就需要去创建成千上万个进程么？首先，创建进程需要消耗时间，销毁进程也需要消耗时间。第二即便开启了成千上万的进程，操作系统也不能让他们同时执行，这样反而会影响程序的效率。因此我们不能无限制的根据任务开启或者结束进程。
那么我们要怎么做呢？
进程池的概念，定义一个池子，在里面放上固定数量的进程，有需求来了，就拿一个池中的进程来处理任务，等到处理完毕，进程并不关闭，而是将进程再放回进程池中继续等待任务。如果有很多任务需要执行，池中的进程数量不够，任务就要等待之前的进程执行任务完毕归来，拿到空闲进程才能继续执行。也就是说，池中进程的数量是固定的，那么同一时间最多有固定数量的进程在运行。这样不会增加操作系统的调度难度，还节省了开闭进程的时间，也一定程度上能够实现并发效果。
Pool模块介绍
# 创建进程池 Pool([numprocess [,initializer [, initargs]]]) # 参数介绍 numprocess 创建的进程数，如果省略，将默认使用cpu_count()的值 initializer 每个工作进程启动时要执行的可调用对象，默认为None initargs 要传给initializer的参数组
# p.apply(func [,args [,kwargs]]) 在一个池工作进程中执行func(*args, **kwargs)，然后返回结果。 "需要强调的是：此操作并不会在所有池工作进程中并执行func函数。如果要通过不同参数并发地执行func函数，必须从不同线程调用p.apply()函数或者使用p.apply_async()" # p.apply_async(func [,args [,kwargs]]) 在一个池工作进程中执行func(*args, **kwargs)，然后返回结果。 "此方法的结果是AsyncResult类的实例，callback是可调用对象，接收输入参数。当func的结果变为可用时，将理解传递给callback。callback禁止执行任何阻塞操作，否则将接收其他异步操作中的结果。" # p.close() 关闭进程池，防止进一步操作。如果所有操作持续挂起，它们将在工作进程终止前完成 # p.join() 等待所有工作进程退出。此方法只能在close()或teminate()之后调用
# 方法apply_async()和map_async()的返回值是AsyncResul的实例obj。实例具有以下方法: # obj.get() 返回结果，如果有必要则等待结果到达。timeout是可选的。如果在指定时间内还没有到达，将引发一场。如果远程操作中引发了异常，它将在调用此方法时再次被引发。 # obj.ready() 如果调用完成，返回True # obj.successful() 如果调用完成且没有引发异常，返回True，如果在结果就绪之前调用此方法，引发异常 # obj.wait([timeout]) 等待结果变为可用。 # obj.terminate() 立即终止所有工作进程，同时不执行任何清理或结束任何挂起工作。如果p被垃圾回收，将自动调用此函数
进程池和多进程效率对比：
import time import multiprocessing def func(n): for i in range(10): print(n*n) if __name__ == "__main__": start = time.time() pool = multiprocessing.Pool(5) # 进程池里有5个进程 pool.map(func, range(20)) # 20个任务用进程池里的进程去执行（map默认异步执行任务、自带close和join功能） end = time.time() t1 = end - start start = time.time() process_list = [] for i in range(20): # 20个任务用20个进程去执行 p = multiprocessing.Process(target=func, args=(i,)) process_list.append(p) p.start() for p in process_list: p.join() end = time.time() t2 = end - start print("进程池方式：", t1) print("多进程方式：", t2)
同步和异步：
import os import time import multiprocessing def task(n): print("%s in running..." % os.getpid()) time.sleep(1) return n**2 if __name__ == "__main__": pool = multiprocessing.Pool(3) # 进程池中从无到有创建三个进程,以后一直是这三个进程在执行任务 s = time.time() ret_list = [] for i in range(10): ret = pool.apply(task, args=(i,)) # 同步调用，直到本次任务执行完毕拿到结果，等待任务task执行的过程中可能有阻塞也可能没有阻塞，但不管该任务是否存在阻塞，同步调用都会在原地等着 ret_list.append(ret) for i in ret_list: print(i) e = time.time() print(e - s)
import os import time import multiprocessing def task(n): print("%s in running..." % os.getpid()) time.sleep(1) return n**2 if __name__ == "__main__": pool = multiprocessing.Pool(3) # 进程池中从无到有创建三个进程,以后一直是这三个进程在执行任务 s = time.time() ret_list = [] for i in range(10): ret = pool.apply_async(task, args=(i,)) # 异步运行，根据进程池中有的进程数，每次最多3个子进程在异步执行 # 返回结果之后，将结果放入列表，归还进程，之后再执行新的任务 # 需要注意的是，进程池中的三个进程不会同时开启或者同时结束 # 而是执行完一个就释放一个进程，这个进程就去接收新的任务 ret_list.append(ret) # 异步apply_async用法：如果使用异步提交的任务，主进程需要使用join，等待进程池内任务都处理完，然后可以用get收集结果 # 否则，主进程结束，进程池可能还没来得及执行，也就跟着一起结束了 pool.close() pool.join() for ret in ret_list: # 使用get来获取apply_async的结果，如果是apply，则没有get方法，因为apply是同步执行，立刻获取结果，也根本无需get。 print(ret.get()) e = time.time() print(e - s)
练习：
进程池版socket并发聊天
# Pool内的进程数默认是cpu核数（查看方法os.cpu_count()） # 开启6个客户端，会发现2个客户端处于等待状态 # 在每个进程内查看pid，会发现pid使用为4个，即多个客户端共用4个进程 import os import socket import multiprocessing sk = socket.socket() sk.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) sk.bind(("127.0.0.1", 8080)) sk.listen() def task(conn): print("进程pid：%s" % os.getpid()) conn.send(b"Hello, i'm server.'") msg = conn.recv(1024).decode("utf-8") print(msg) conn.close() if __name__ == "__main__": pool = multiprocessing.Pool(4) while True: conn, addr = sk.accept() pool.apply_async(task, args=(conn,)) # p.apply(talk, args=(conn,)) # 同步的话，则同一时间只有一个客户端能访问
import socket sk = socket.socket() sk.connect(("127.0.0.1", 8080)) msg = sk.recv(1024).decode("utf-8") print(msg) inp = input(">>>").strip() sk.send(inp.encode("utf-8")) sk.close()
回调函数
需要回调函数的场景：进程池中任何一个任务一旦处理完了，就立即告知主进程：我好了额，你可以处理我的结果了。主进程则调用一个函数去处理该结果，该函数即回调函数。
我们可以把耗时间（阻塞）的任务放到进程池中，然后指定回调函数（主进程负责执行），这样主进程在执行回调函数时就省去了I/O的过程，直接拿到的是任务的结果。
import os import requests import multiprocessing def get_page(url): print("<进程%s> get %s" % (os.getpid(),url)) response = requests.get(url) if response.status_code == 200: return {"url": url, "text": response.text} def pasrse_page(ret): """ 这是回调函数，在这里处理结果 :param ret: 拿到的结果 :return: """ print("<进程%s> parse %s" %(os.getpid(), ret["url"])) parse_ret = "url:<%s> size:[%s] " %(ret["url"], len(ret["text"])) with open("db.txt","a") as f: f.write(parse_ret) if __name__ == "__main__": urls = [ "https://www.baidu.com", "https://www.python.org", "https://www.openstack.org", "https://help.github.com/", "https://www.sina.com.cn/" ] pool = multiprocessing.Pool(3) for url in urls: ret = pool.apply_async(get_page, args=(url,), callback=pasrse_page) pool.close() pool.join()
import re import multiprocessing from urllib.request import urlopen def get_page(url,pattern): response = urlopen(url).read().decode("utf-8") return pattern,response def parse_page(info): pattern,page_content = info ret = re.findall(pattern, page_content) for item in ret: d = { "index": item[0].strip(), "title": item[1].strip(), "actor": item[2].strip(), "time": item[3].strip(), } print(d) if __name__ == "__main__": regex = r'<dd>.*?<.*?class="board-index.*?>(d+)</i>.*?title="(.*?)".*?class="movie-item-info".*?<p class="star">(.*?)</p>.*?<p class="releasetime">(.*?)</p>' pattern1 = re.compile(regex, re.S) url_dict = { "http://maoyan.com/board/7": pattern1, } pool = multiprocessing.Pool() ret_list = [] for url, pattern in url_dict.items(): ret = pool.apply_async(get_page, args=(url, pattern), callback=parse_page) ret_list.append(ret) for ret in ret_list: ret.get()
如果在主进程中等待进程池中所有任务都执行完毕后，再统一处理结果，则无需回调函数：
import time, multiprocessing def task(n): time.sleep(0.5) return n**2 if __name__ == "__main__": pool = multiprocessing.Pool() ret_list = [] for i in range(10): ret = pool.apply_async(task, args=(i,)) ret_list.append(ret) pool.close() pool.join() # 等待进程池中所有进程执行完毕 l = [] for ret in ret_list: l.append(ret.get()) # 拿到所有结果 print(l) # 主进程拿到所有的处理结果,可以在主进程中进行统一进行处理