浅谈concurrent.futures模块的进程池与线程池

Python3.2开始，标准库为我们提供了concurrent.futures模块，它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类，实现了对threading和multiprocessing的进一步抽象，对编写线程池/进程池提供了直接的支持。

ProcessPoolExecutor进程池

我们来看一个最简单的进程池

from concurrent.futures import ProcessPoolExecutor
import  time
def task(arg):
    print("arg：",arg)
    time.sleep(1)

if __name__ == "__main__":
    start = time.time()
    pool = ProcessPoolExecutor(3) #设置线程数

    for i in range(6):
        pool.submit(task,i) #在线程池中取一个线程执行task函数
    pool.shutdown(wait=True) #wait参数如果为True则所有子进程都结束后才会执行父进程；如果参数为False，则父进程不需要等待子进程结束

    print("main")
    end = time.time()
    print(end - start)

执行结果：

下面我们把shutdown(wait=True)改成shutdown(wait=False)

from concurrent.futures import ProcessPoolExecutor
import  time
def task(arg):
    print("arg：",arg)
    time.sleep(1)

if __name__ == "__main__":
    start = time.time()
    pool = ProcessPoolExecutor(3) #设置线程数

    for i in range(6):
        pool.submit(task,i) #在线程池中取一个线程执行task函数
    pool.shutdown(wait=False) #wait参数如果为True则所有子进程都结束后才会执行父进程；如果参数为False，则父进程不需要等待子进程结束

    print("main")
    end = time.time()
    print(end - start)

再来看执行结果 　　

submit同步模式（同步调用：提交/调用一个任务，然后就在原地等着，等到该任务执行完毕拿到结果，再执行下一行代码）

from concurrent.futures import ProcessPoolExecutor
import  time
import os
def task(arg):
    print('%s is piaoing %s' % (arg, os.getpid()))
    time.sleep(1)

if __name__ == "__main__":
    start = time.time()
    pool = ProcessPoolExecutor(3) #设置线程数

    for i in range(6):
        pool.submit(task,i).result() #在线程池中取一个线程执行task函数
        print(i)
    pool.shutdown(wait=True) #wait参数如果为True则所有子进程都结束后才会执行父进程；如果参数为False，则父进程不需要等待子进程结束

    print("main")
    end = time.time()
    print(end - start)

执行结果 

ThreadPoolExecutor线程池

我们来看一个最简单的线程池

from concurrent.futures import ThreadPoolExecutor
  import  time
  def task(arg):
      print("arg：",arg)
      time.sleep(1)
  
  if __name__ == "__main__":
      start = time.time()
      pool = ThreadPoolExecutor(3) #设置线程数
 
     for i in range(6):
         pool.submit(task,i) #在线程池中取一个线程执行task函数
     pool.shutdown(wait=True) #wait参数如果为True则所有子进程都结束后才会执行父进程；如果参数为False，则父进程不需要等待子进程结束
 
     print("main")
     end = time.time()
     print(end - start)

运行结果

ThreadPoolExecutor线程池和ProcessPoolExecutor进程池语法和执行结果一样，只是需要导入的模块名称和调用的模块名称不同，在这就不再赘述。