Python 协程、IO模型

1.协程（单线程实现并发）
2.I/0模型
2.1阻塞I/O
2.2非阻塞I/O

知识点一：协程
协程的目的：是想要在单线程下实现并发（并发看起来是同时运行的）
并发=多个任务间切换+保存状态（正常情况都是由操作系统来控制的）

一般情况下都是由操作系统来控制的，现在要实现的就是遇到I/o自己来切换，也叫并发

优点：在应用程序级别速度要远远高于操作系统的切换
缺点：多个任务一旦有一个阻塞没有切，整个线程都会阻塞原地，该线程内的其他任务
都不能执行

一旦引入协程，就需要检测单线程下所有的IO行为，实际遇到IO就切换，
少一个都不行，一旦一个任务阻塞了，整个线程就阻塞了，其他的任务即便是
可以计算，但是也无法运行了

一个程序没有遇到IO也切，反而会降低效率，应该找到一种让程序遇到IO切，才能提高效率

gevent模块：模拟识别IO阻塞

#gevent模块：模拟识别IO阻塞
import gevent
from gevent import monkey,spawn;monkey.patch_all() #pathch_all()打补丁就是让gevent能识别所有的IO
from threading import current_thread
import time

def eat():
    print('%s eat 1'%current_thread().name)
    # gevent.sleep(2)   #默认只能识别自己模块的Io行为
    time.sleep(3)
    print('%s eat 2'%current_thread().name)

def play():
    print('%s play 1'%current_thread().name)
    # gevent.sleep(1)
    time.sleep(1)
    print('%s play 2'%current_thread().name)

#创建协程对象
g1=spawn(eat,)    #spawn(函数名，参数1...)  都是传给函数eat的
g2=spawn(play,)

print(current_thread().name)
g1.join()  #等待g1结束
g2.join()  #等待g2结束



'''输出结果：
MainThread
DummyThread-1 eat 1   #假线程
DummyThread-2 play 1
DummyThread-2 play 2
DummyThread-1 eat 2

'''

'''
而time.sleep(2)或其他的阻塞,gevent是不能直接识别的需要用下面一行代码,打补丁,就可以识别了

from gevent import monkey;monkey.patch_all()必须放到被打补丁者的前面，如time，socket模块之前

或者我们干脆记忆成：要用gevent，需要将from gevent import monkey;monkey.patch_all()放到文件的开头

gevent应用实例一：利用gevent模块改写socket服务端实现：单线程IO切换自动切换

#服务端
from gevent import spawn,monkey;monkey.patch_all()
from socket import *
from threading import Thread

def talk(conn):
    while True:
        try:
            data=conn.recv(1024)
            if len(data) == 0:break
            conn.send(data.upper())
        except ConnectionResetError:
            break
    conn.close()

def server(ip,port,backlog=5):
    server = socket(AF_INET, SOCK_STREAM)
    server.bind((ip, port))
    server.listen(backlog)

    print('starting...')
    while True:
        conn, addr = server.accept()
        spawn(talk,conn)

        #原来造线程的方式：
        # t = Thread(target=talk, args=(conn,))
        # t.start()

if __name__ == '__main__':
    # server('127.0.0.1',8080)
    g=spawn(server,'127.0.0.1',8080)
    g.join()

-------------------------------------------------------------------------------
#客户端
from socket import *
import os

client=socket(AF_INET,SOCK_STREAM)
client.connect(('127.0.0.1',8080))

while True:
    msg='%s say hello' %os.getpid()
    client.send(msg.encode('utf-8'))
    data=client.recv(1024)
    print(data.decode('utf-8'))

知识点二：基于网络的IO模型
可以分为2大类：
第一类：
server.accept()
第二类：
conn.recv()
conn.send()

1.recv（收消息）
wait data：等待客户端产生数据--》客户端OS--》网络--》服务端操作系统缓存
copy data：由本地操作系统缓存中的数据拷贝到应用程序的内存中

2.send（发消息）
copy data


阻塞IO：blocking IO
blocking IO就是在执行的2个阶段（等待数据和拷贝数据两个阶段）都被block了


非阻塞IO：non-blocking IO：
思考：目的就是将将recv（）阻塞的这个模型变为非阻塞，
即如果没有数据先执行其它的任务，并且最好在没有数据时客户端能返回一个
没有数据的提示信息


非阻塞IO：的问题
1.CPU占用率高（多数的询问是无用的）
2.for循环列表多的情况下会慢
3.数据得不到及时的处理（因为有时候存在可能刚切换到其他任务，数据就过来了
这样就不能及时处理）

非阻塞IO模型改写socket套接字服务端、客户端：

#服务端
from socket import *
import time

server = socket(AF_INET, SOCK_STREAM)
server.bind(('127.0.0.1',8080))
server.listen(5)
server.setblocking(False)   #所有的IO行为都变为非阻塞模型，设置为False

conn_l=[]  #保存的是一堆连接，便于后面与每个客户端通信收发消息
while True:
    #建立连接循环：
    try:
        print('总连接数[%s]' % len(conn_l))
        conn,addr=server.accept()
        conn_l.append(conn)
    except BlockingIOError: #客户建立连接请求，报错信息，捕捉这个异常可以执行下面的代码，即执行其他任务
        # print('客户端没有数据过来，可以执行其他任务')
        del_l=[]   #另外新建一个列表单独存放那些非法数据，方便最后清理这些数据

        #建立通信循环：
        for conn in conn_l:
            try:
                data=conn.recv(1024)  #与accept（）建立连接一样，如果没有消息过来，直接
                if len(data) == 0:     #输入的是空值
                    del_l.append(conn)
                    continue
                conn.send(data.upper())
            except BlockingIOError:
                pass
            except ConnectionResetError: #客户端单方面终止连接
               del_l.append(conn)  #将终止的连接添加到定义的列表里面，最后统一删除这些无效的连接

        for conn in del_l:
            conn_l.remove(conn)


-----------------------------------------------------------------------------------------------------------------
#客户端：不需要变动

from socket import *
import os

client=socket(AF_INET,SOCK_STREAM)
client.connect(('127.0.0.1',8080))

while True:
    msg='%s say hello' %os.getpid()
    client.send(msg.encode('utf-8'))
    data=client.recv(1024)
    print(data.decode('utf-8'))