zoukankan      html  css  js  c++  java
  • Python 多进程异常处理

    前言

    最近项目用到了Python作为网站的前端,使用的框架是基于线程池的Cherrypy,但是前端依然有一些比较‘重’的模块。由于python的多线程无法很好的利用多核的性质,所以觉得把这些比较‘重’的功能用多进程进行管理。

    Python 多进程编程

    Python的多进程编程主要依赖multiprocessing库,父进程的参数直接拷贝给子进程,因为Linux进程的copy on write特性,如果子进程不对参数进行修改就不会进行拷贝工作,也就是说父进程,子进程共享参数。而参数的返回则通过管道pipe进行。
    下面是简单的代码例子:

    import multiprocessing
    
    def heavy_load_func(N, child_conn):
        '''function do heavy computing'''
        
        try:
    
                #do_some_heavy_computing
    
            child_conn.send(return_value)  #return something
            
        except Exception,e:
            child_conn.send(e)  #将异常通过管道送出
            
    
    if __name__=='__main__'
        '''main function'''
        try:
            parent_conn, child_conn = multiprocessing.Pipe()
            hild_process = multiprocessing.Process(target=heavy_load_func, args=(10, child_conn))
            child_process.start()
            child_process.join()
            child_return = parent_conn.recv()
            print child_return
        except Exception,e:
            logger.error(e)

    多进程异常处理

    但是如果heavy_load_func在执行过程中抛出异常就比较麻烦了,当然我们可以通过Pipe将捕捉到的异常信息传到父进程,但是这样父进程只是得到了一条返回值,并没有触发父进程的异常机制,如何把子进程的异常抛出给父进程进行处理呢?

    本文提供一种方法,通过引入一个代理类Process对multiprocessing.Process进行重载,Process中重写multiprocessing.Process的run方法,并且加入exception属性,通过exception来判断子进程是否触发异常。

    class Process(multiprocessing.Process):
        def __init__(self, *args, **kwargs):
            multiprocessing.Process.__init__(self, *args, **kwargs)
            self._pconn, self._cconn = multiprocessing.Pipe()
            self._exception = None
    
        def run(self):
            try:
                multiprocessing.Process.run(self)
                self._cconn.send(None)
            except Exception as e:
                tb = traceback.format_exc()
                self._cconn.send((e, tb))
    
        @property
        def exception(self):
            if self._pconn.poll():
                self._exception = self._pconn.recv()
            return self._exception

    这样我们的代码就可以写成这样:

    if __name__=='__main__':
        '''main function'''
        try:
            parent_conn, child_conn = multiprocessing.Pipe()
            #child_process = multiprocessing.Process(target=heavy_load_func, args=(10, child_conn))
            child_process = Process(target=heavy_load_func, args=(10, child_conn))
            child_process.start()
            child_process.join()
            if child_process.exception:
                error, traceback = child_process.exception
                print error
                child_process.terminate()
            else:
                child_return = parent_conn.recv()  #如果不子进程不抛出异常就接受值,否则主进程退出,避免主进程被管道阻塞!
                print child_return
        except Exception, e:
            print e

    总结

    本文主要介绍了一种Python多进程异常处理的方法,通过引入代理类来进行异常的转发。文章介绍的比较简单,其实里面有很多东西。

  • 相关阅读:
    linux的lsof命令
    linux find
    linux 查看磁盘空间大小
    eclipse运行时编码设置
    WebService工作原理
    Java获取字符串编码方式
    JavaScript,base64加密解密
    如何用javascript 的eval动态执行一个需要传对象参数的函数
    struts2结果类型
    执行maven-build.cmd失败
  • 原文地址:https://www.cnblogs.com/ExMan/p/10951902.html
Copyright © 2011-2022 走看看