zoukankan      html  css  js  c++  java
  • Python中monkey.patch_all()解决协程阻塞问题

    直接参考以下实例,采用协程访问三个网站

    由于IO操作非常耗时,程序经常会处于等待状态

    比如请求多个网页有时候需要等待,gevent可以自动切换协程

    遇到阻塞自动切换协程,程序启动时执行monkey.patch_all()解决

    # 由于IO操作非常耗时,程序经常会处于等待状态
    # 比如请求多个网页有时候需要等待,gevent可以自动切换协程
    # 遇到阻塞自动切换协程,程序启动时执行monkey.patch_all()解决
    # 首行添加下面的语句即可
    from gevent import monkey; monkey.patch_all()
    import gevent
    from urllib import request
    def run_task(url):
        print("Visit --> %s" % url)
        try:
            response = request.urlopen(url)
            data = response.read()
            print("%d bytes received from %s." %(len(data), url))
        except Exception:
            print("error")
    
    if __name__ == '__main__':
        urls = ['https://github.com/', 'https://blog.csdn.net/', 'https://bbs.csdn.net/']
        # 定义协程方法
        greenlets = [gevent.spawn(run_task, url) for url in urls]
        # 添加协程任务,并且启动运行
        gevent.joinall(greenlets)
    
    # 查看运行结果可以发现,三个协程是同时触发的,但是结束顺序不同
    # 网页请求的时间不同,故结束顺序不同
    # 但是该程序其实只有一个线程

    输出结果

    Visit --> https://github.com/
    Visit --> https://blog.csdn.net/
    Visit --> https://bbs.csdn.net/
    34697 bytes received from https://blog.csdn.net/.
    75062 bytes received from https://bbs.csdn.net/.
    79347 bytes received from https://github.com/.
    
    Process finished with exit code 0
  • 相关阅读:
    Oracle 多版本控制
    texedo 分布式事务
    OLAP 大表和小表并行hash join
    分页SQL模板
    全表扫描分页
    索引的结构图
    利用函数索引优化<>
    分页SQL取下一页
    SORT ORDER BY STOPKEY
    压缩跟踪(CT)代码具体学习_模块1(样本的採集和扩充)
  • 原文地址:https://www.cnblogs.com/xiaozengzeng/p/12687936.html
Copyright © 2011-2022 走看看