python的学习之旅---回调机制

回调机制

import requests

需要 requests 模块的支持

需要回调函数的场景：进程池中任何一个任务一旦处理完了，就立即告知主进程：我好了额，你可以处理我的结果了。主进程则调用一个函数去处理该结果，该函数即回调函数

我们可以把耗时间（阻塞）的任务放到进程池中，然后指定回调函数（主进程负责执行），这样主进程在执行回调函数时就省去了I/O的过程，直接拿到的是任务的结果。

from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
import requests
import os
import time

def get(url):
    print('%s GET %s' %(os.getpid(),url))
    response=requests.get(url)
    if response.status_code == 200:
        return {'url':url,'text':response.text}

def parse(res):
    res=res.result()
    url=res['url']
    text=res['text']
    print('%s parse %s res:%s' %(os.getpid(),url,len(text)))

if __name__ == '__main__':
    urls = [
        'https://www.baidu.com',
        'https://www.python.org',
        'https://www.openstack.org',
        'https://help.github.com/',
        'http://www.sina.com.cn/'
    ]

    # p=ProcessPoolExecutor()
    # start=time.time()
    # l=[]
    # for url in urls:
    #     furture=p.submit(get,url)
    #     l.append(furture)
    # p.shutdown(wait=True)
    #
    # for furture in l:
    #     parse(furture)
    #
    # print(time.time()-start) #4.504257440567017

    p=ProcessPoolExecutor()
    start=time.time()
    for url in urls:
        future=p.submit(get, url)
        future.add_done_callback(parse) #parse(futrue)
    p.shutdown(wait=True)
    print(time.time()-start) #3.1761815547943115
    print(os.getpid())

future=p.submit(get, url) 　　　　　　　　　　  　　　　　　　　　　　　　　　　

future.add_done_callback(parse)                #parse(futrue) 　   把future对象传给回调函数 parse 通过对象的 .result 获取future的 return的值

也就是说如果使用回调函数， 子进程的函数必须要写返回值。想要拿到返回值 必须要用　   .result