concurrent包
concurrent.futrues模块
3.2版本引入
异步并行任务模块,提供一个高级的异步可执行的便利接口.
提供了两个池执行器
ThreadPoolExecutor异步调用的线程池的Executor
ProcessPoolExecutor异步调用的进程池的Executor
ThreadPoolExecutor对象
首先需要定义一个池的执行器对象,Executor类子类对象
| 方法 | 含义 |
|---|---|
| ThreadPoolExecutor(max_workers= 1) | 池中最多创建max_workers个线程的池类同时异步执行,返回Executor实例 |
| submit(fn,*args,**kwargs) | 异步提交执行的函数及其参数,返回Future实例 |
| shutdown(wait = True) | 清理池 |
from concurrent.futures import ProcessPoolExecutor, ThreadPoolExecutor
import time
# ProcessPoolExecutor(5) # 5代表只能开启5个进程
# ProcessPoolExecutor() # 默认以CPU的个数限制进程数
pool = ThreadPoolExecutor(5) # 5代表只能开启5个线程
# ThreadPoolExecutor() # 默认以CPU个数 * 5 限制线程数
# t = Tread() # 异步提交
# t.start(0)
Future类
| 方法 | 含义 |
|---|---|
| result(timeout=None) | 可以查看调用函数的返回值结果,tiime未none,一直等待返回;timeout设置到期,抛出concurrent.futures.TimeError异常 |
| done() | 如果调用被成功的取消或者执行完成,返回True |
| cancelled() | 如果调用被成功的取消,返回True |
| result() | 如果正在运行且不能被取消,返回True |
| cancel() | 尝试取消调用,如果已经执行且不能取消放回false;否则返回True |
| exception(timeout= None) | 取返回的异常,timeout为None,一直等待返回;timeout设置到期,抛出concurrent.futures.TimeoutError异常 |
#pip3 install gevent
from gevent import monkey
monkey.patch_all() # 可以监听该程序下所有的IO操作
import time
from gevent import spawn, joinall # 用于做切换 + 保存状态
def func1():
print('1')
# IO操作
time.sleep(1)
def func2():
print('2')
time.sleep(3)
def func3():
print('3')
time.sleep(5)
start_time = time.time()
s1 = spawn(func1)
s2 = spawn(func2)
s3 = spawn(func3)
# s2.join() # 发送信号,相当于等待自己 (在单线程的情况下)
# s1.join()
# s3.join()
# 必须传序列类型
joinall([s1, s2, s3])
end_time = time.time()
print(end_time - start_time)
ProcessPoolExecutor对象
跟线程方法一样,就是使用多进程完成.
支持上下文管理
concurrent.futrues.ProcessPoolExecutor继承自concurrent.futrues.base.Executor,
支持上下文管理,可以使用with语句
回调函数
将一个函数的返回值直接传递给另一个函数
# 回调函数
def call_back(res):
print(type(res))
# 注意: 赋值操作不要与接收的res同名
res2 = res.result()
print(res2)
for line in range(5):
pool.submit(task, 1).add_done_callback(call_back)
# 会让所有线程池的任务结束后,才往下执行代码
# pool.shutdown()
print('hello')
总结
这个库统一了线程池,进程池的调用,简化了编程
唯一缺点:无法设置线程名称,无所吊谓