zoukankan      html  css  js  c++  java
  • 多线程——multiprocess

    先看个误打误撞的写的代码

    import os
    import time
    import multiprocessing
    def func():
        print('我是func函数1','现在的father进程号为:',os.getppid())
        time.sleep(2)
        print('我是func函数2,但是我休息了2秒','现在的father进程号为:',os.getppid())
    
    
    print('打酱油1','现在的进程号为:',os.getpid())
    p=multiprocessing.Process(target=func())
    if __name__=='__main__':
        p.start()
        print('打酱油2','现在的进程号为:',os.getpid())
    print('end-------','现在的进程号为:',os.getpid())
    '''输出结果
    打酱油1 现在的进程号为: 7112
    我是func函数1 现在的father进程号为: 4088
    我是func函数2,但是我休息了2秒 现在的father进程号为: 4088
    打酱油2 现在的进程号为: 7112
    end------- 现在的进程号为: 7112
    打酱油1 现在的进程号为: 3456
    我是func函数1 现在的father进程号为: 7112
    我是func函数2,但是我休息了2秒 现在的father进程号为: 7112
    end------- 现在的进程号为: 3456'''

    自己不小心把函数名给行进去了,然后发现很奇怪,就一直在这里改啊改,然后就出现了上面的一串奇怪的代码,所以说很奇怪。好吧,先看看下边的发现总结。

    说明 4088 是pycharm的运行的进程号

    7112是父的进程号

    3456是子的进程号

    1.运行的顺序是先父然后子进程。

    2.因为在给子进程写的时候,不小心把子进程的()也写进去了,所以调用了子进程。这样的调用而且好像是子进程是全部父进程的的代码(后面试验后发现确实如此),不知道不加if __name__=='__main__'是不是全部运行父进程的代码。

    3.老师特别强调在windows中才必需加上if __name__=='__main__',然后放在下面执行,不知道什么意思,所以以后用其他系统检验下。老师说不加这段代码可能会报错。

    下面开始进入正题

    process 的模块的介绍

    process模块是一个创建进程的模块,借助这个模块,就可以完成进程的创建。

    Process([group [, target [, name [, args [, kwargs]]]]]),由该类实例化得到的对象,表示一个子进程中的任务(尚未启动)

    强调: 1. 需要使用关键字的方式来指定参数

    2. args指定的为传给target函数的位置参数,是一个元组形式,必须有逗号

    参数介绍: 1 group参数未使用,值始终为None

    2 target表示调用对象,即子进程要执行的任务

    3 args表示调用对象的位置参数元组,args=(1,2,'egon',)

    4 kwargs表示调用对象的字典,kwargs={'name':'egon','age':18}

    5 name为子进程的名称

    1 p.start():启动进程,并调用该子进程中的p.run()

    2 p.run():进程启动时运行的方法,正是它去调用target指定的函数,我们自定义类的类中一定要实现该方法

    3 p.terminate():强制终止进程p,不会进行任何清理操作,如果p创建了子进程,该子进程就成了僵尸进程,使用该方法需要特别小心这种情况。如果p还保存了一个锁那么也将不会被释放,进而导致死锁

    4 p.is_alive():如果p仍然运行,返回True

    5 p.join([timeout]):主线程等待p终止(强调:是主线程处于等的状态,而p是处于运行的状态)。timeout是可选的超时时间,需要强调的是,p.join只能join住start开启的进程,而不能join住run开启的进程

    1 p.daemon:默认值为False,如果设为True,代表p为后台运行的守护进程,当p的父进程终止时,p也随之终止,并且设定为True后,p不能创建自己的新进程,必须在p.start()之前设置

    2 p.name:进程的名称

    3 p.pid:进程的pid

    4 p.exitcode:进程在运行时为None、如果为–N,表示被信号N结束(了解即可)

    5 p.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性,这类连接只有在具有相同的身份验证键时才能成功(了解即可)

      

    多进程的几种方法:

    1.用函数去调

    import time
    from multiprocessing import Process
    def process():
        print('woshozojinchen')
    if __name__=='__main__':
        print('it is father process')
        p=Process(target=process)
        p.start()
        time.sleep(5)
        print('end')

     2.用类方法去调

    import os
    import time
    from multiprocessing import Process
    class Myserver(Process):
        def __init__(self,name,age):
            super(Myserver,self).__init__()
            self.name=name
            self.age=age
        def run(self):
    
            print('this is a Preocess and it is Process number',os.getpid())
            print('father process number:',os.getppid())
            time.sleep(0.1)
            print(self.__dict__)
    if __name__=='__main__':
        print('it is father Process',os.getpid())
        p1=Myserver('alex',1)
        p1.start()
        time.sleep(0.09)
        print('end')

    比较两种的差异:

    1.用函数去调时不要加上括号,传时候用元祖去传,而用类的方法去调时,直接是实例化即可,注意用类去掉时一定要加上run的方法,因为start其实就是在调用类的start的方法,但是要注意在__init__时要写上super来继承父类的参数

    join的用法

    import os
    from multiprocessing import Process
    from time import sleep
    class myserver(Process):
        def __init__(self,filename,i):
            super(myserver,self).__init__()
            self.i =i
            self.filename=filename
        def run(self):
            with open(self.filename,'w')as f:
                f.write('it is a question ')
            # sleep(0.2)
            print('*'*10*self.i,self.i)
    if __name__=='__main__':
        lis=[]
        for i in range(10):
            p=myserver('info%s'%i,i)
            p.start()
            print('p nameL:',p.name)
            print(p)
            lis.append(p)
    
        print(lis)
        print('it is end')
    p nameL: myserver-1
    <myserver(myserver-1, started)>
    p nameL: myserver-2
    <myserver(myserver-2, started)>
    p nameL: myserver-3
    <myserver(myserver-3, started)>
    p nameL: myserver-4
    <myserver(myserver-4, started)>
    p nameL: myserver-5
    <myserver(myserver-5, started)>
    p nameL: myserver-6
    <myserver(myserver-6, started)>
    p nameL: myserver-7
    <myserver(myserver-7, started)>
    p nameL: myserver-8
    <myserver(myserver-8, started)>
    p nameL: myserver-9
    <myserver(myserver-9, started)>
    p nameL: myserver-10
    <myserver(myserver-10, started)>
    [<myserver(myserver-1, started)>, <myserver(myserver-2, started)>, <myserver(myserver-3, started)>, <myserver(myserver-4, started)>, <myserver(myserver-5, started)>, <myserver(myserver-6, started)>, <myserver(myserver-7, started)>, <myserver(myserver-8, started)>, <myserver(myserver-9, started)>, <myserver(myserver-10, started)>]
    it is end
    ******************** 2
    ********** 1
    ****************************** 3
    **************************************** 4
    ********************************************************************** 7
    ************************************************************ 6
    ****************************************************************************************** 9
    ******************************************************************************** 8
    ************************************************** 5
     0
    输出结果

    从上面可以看出来输出的结结果比较混乱,而且注意P的输出是个方法,不是p

    如果想等子进程的代码执行完毕之后在执行后面的代码,这时就需要join的登场了

    第一种方法

    import os
    from multiprocessing import Process
    from time import sleep
    class myserver(Process):
        def __init__(self,filename,i):
            super(myserver,self).__init__()
            self.i =i
            self.filename=filename
        def run(self):
            with open(self.filename,'w')as f:
                f.write('it is a question ')
            # sleep(0.2)
            print('*'*10*self.i,self.i)
    if __name__=='__main__':
        lis=[]
        for i in range(10):
            p=myserver('info%s'%i,i)
            p.start()
            print('p nameL:',p.name)
            print(p)
            lis.append(p)
        a=[i.join()for i in lis]
        print(a)
        print(lis)
        print('it is end')
    View Code
    p nameL: myserver-1
    <myserver(myserver-1, started)>
    p nameL: myserver-2
    <myserver(myserver-2, started)>
    p nameL: myserver-3
    <myserver(myserver-3, started)>
    p nameL: myserver-4
    <myserver(myserver-4, started)>
    p nameL: myserver-5
    <myserver(myserver-5, started)>
    p nameL: myserver-6
    <myserver(myserver-6, started)>
    p nameL: myserver-7
    <myserver(myserver-7, started)>
    p nameL: myserver-8
    <myserver(myserver-8, started)>
    p nameL: myserver-9
    <myserver(myserver-9, started)>
    p nameL: myserver-10
    <myserver(myserver-10, started)>
    ********************************************************************** 7
    ************************************************************ 6
    ******************** 2
    ******************************************************************************** 8
    ****************************** 3
    ********** 1
    ****************************************************************************************** 9
     0
    ************************************************** 5
    **************************************** 4
    [None, None, None, None, None, None, None, None, None, None]
    [<myserver(myserver-1, stopped)>, <myserver(myserver-2, stopped)>, <myserver(myserver-3, stopped)>, <myserver(myserver-4, stopped)>, <myserver(myserver-5, stopped)>, <myserver(myserver-6, stopped)>, <myserver(myserver-7, stopped)>, <myserver(myserver-8, stopped)>, <myserver(myserver-9, stopped)>, <myserver(myserver-10, stopped)>]
    it is end
    输出结果

    可以看见实现了上诉的功能,用列表的形式去实现所得join功能。相当于实现了列表里面的join代码

    第二种方法

    import os
    from multiprocessing import Process
    from time import sleep
    class myserver(Process):
        def __init__(self,filename,i):
            super(myserver,self).__init__()
            self.i =i
            self.filename=filename
        def run(self):
            with open(self.filename,'w')as f:
                f.write('it is a question ')
            # sleep(0.2)
            print('*'*10*self.i,self.i)
    if __name__=='__main__':
    
        for i in range(10):
            p=myserver('info%s'%i,i)
            p.start()
            print('p nameL:',p.name)
            print(p)
            p.join()
    View Code
    i
    p name: myserver-1
    <myserver(myserver-1, started)>
     0
    p name: myserver-2
    <myserver(myserver-2, started)>
    ********** 1
    p name: myserver-3
    <myserver(myserver-3, started)>
    ******************** 2
    p name: myserver-4
    <myserver(myserver-4, started)>
    ****************************** 3
    p name: myserver-5
    <myserver(myserver-5, started)>
    **************************************** 4
    p name: myserver-6
    <myserver(myserver-6, started)>
    ************************************************** 5
    p name: myserver-7
    <myserver(myserver-7, started)>
    ************************************************************ 6
    p name: myserver-8
    <myserver(myserver-8, started)>
    ********************************************************************** 7
    p name: myserver-9
    <myserver(myserver-9, started)>
    ******************************************************************************** 8
    p name: myserver-10
    <myserver(myserver-10, started)>
    ****************************************************************************************** 9
    it is end
    输出结果

    可以看见在循环中加入join,这样在每次的循环中就能依次输出了。但是通过输出结果可以发现输出的结果很有顺序,也就是说每次执行完了,才开始下次的循环,因为相当于join的后面是跟着for循环的,所以我不太推荐这种循环,还不如直接写在主程序里,感觉区别不大。这样写完全没有体现多线程的有优点。

    注意join一定要写在for循环里面,否则只有最后一个子线程跟在主线程的后面。

     

    数据隔离

    import os
    from multiprocessing import Process
    
    def func():
        global n   # 声明了一个全局变量
        n = 0       # 重新定义了一个n
        print('pid : %s'%os.getpid(),n)
    
    if __name__ == '__main__':
        n = 100
        p = Process(target=func)
        p.start()
        p.join()
        print(os.getpid(),n)
    pid : 4148 0
    7636 100
    输出结果

    父进程的变量是不与子进程共享的

    守护进程

    import time
    from multiprocessing import Process
    
    def func():
        while True:
            time.sleep(0.2)
            print('我还活着')
    
    def func2():
        print('in func2 start')
        time.sleep(8)
        print('in func2 finished')
    
    if __name__ == '__main__':
        p = Process(target=func)
        p.daemon = True   # 设置子进程为守护进程
        p.start()
        p2 = Process(target=func2)
        p2.start()
        # time.sleep(1.1)
        p2.terminate()     # 结束一个子进程
        time.sleep(1)
        print(p2.is_alive())  # 检验一个进程是否还活着
        print(p2.name)
        time.sleep(0.9)
    View Code
    我还活着
    我还活着
    我还活着
    我还活着
    False
    Process-2
    我还活着
    我还活着
    我还活着
    我还活着
    我还活着
    输出结果

    守护进程 会 随着 主进程的代码执行完毕 而 结束
    在主进程内结束一个子进程 p.terminate()
    结束一个进程不是在执行方法之后立即生效,需要一个操作系统响应的过程,即刚执行结束代码时,在检验is alive可能返回的是Ture.所以上面的代码是先睡上1秒后在检验使才返回的的是false
    检验一个进程是否活着的状态 p.is_alive()

    必须在p.start()之前设置

    p.name p.pid 这个进程的名字和进程号

    lock锁

    import json
    from time import sleep
    from multiprocessing import Process
    from multiprocessing import Lock
    def buy_ticket(i,lock):
        lock.acquire()
        sleep(1)
        with open('ticket','r')as f:
            msg=json.load(f)
        if msg['ticket']>0:
            msg['ticket']-=1
            print('33[32myou buy a ticket33[0m')
        elif msg['ticket']<=0:
            print('33[31myou not buy a ticket33[0m')
        with open('ticket','w')as f:
            json.dump(msg,f)
        lock.release()
    if __name__=='__main__':
        lock=Lock()
        with open('ticket','w')as f:
            msg={'ticket':1}
            json.dump(msg,f)
        for i in range(10):
            p = Process(target=buy_ticket,args=(i,lock))
            p.start()
    lock
    you buy a ticket
    you not buy a ticket
    you not buy a ticket
    you not buy a ticket
    you not buy a ticket
    you not buy a ticket
    you not buy a ticket
    you not buy a ticket
    you not buy a ticket
    you not buy a ticket
    输出结果

    上面的代码是模仿买火车票,买火车票是必须是一个一个的买,如果所有人有一下能进入数据库的话,那么可能会造成数据的更新不够及时,而造成票被多买。所以需要一把锁来约束,让用户一个一个的买,注意的是上锁的过程必须是先导入模块,然后在定义这个模块,然后定义的函数就必须多传两个参数,及(i,lock),然后在函数中的必须写上一个拿锁的过程和释放锁的过程。

  • 相关阅读:
    01、MySQL_简介
    算法—打擂台法
    第10章 对文件的输入输出
    第9章 用户自己建立数据类型
    Spring Cloud
    JUC
    Swagger Learing
    JUC
    Spring Data
    SpringCloud
  • 原文地址:https://www.cnblogs.com/accolade/p/10544539.html
Copyright © 2011-2022 走看看