并发编程 (协程)

一 .协程(Coroutine)

1. 协程简介

协程：是单线程下的并发，又称微线程，纤程。英文名Coroutine。一句话说明什么是协程：协程是一种用户态的轻量级线程，即协程是由用户程序自己控制调度的。

#1. python的线程属于内核级别的，即由操作系统控制调度（如单线程遇到io或执行时间过长就会被迫交出cpu执行权限，切换其他线程运行）
#2. 单线程内开启协程，一旦遇到io，就会从应用程序级别（而非操作系统）控制切换，以此来提升效率（！！！非io操作的切换与效率无关）

优点

1. 协程的切换开销更小，属于程序级别的切换，操作系统完全感知不到，因而更加轻量级
#2. 单线程内就可以实现并发的效果，最大限度地利用cpu

缺点

#1. 协程的本质是单线程下，无法利用多核，可以是一个程序开启多个进程，每个进程内开启多个线程，每个线程内开启协程
#2. 协程指的是单个线程，因而一旦协程出现阻塞，将会阻塞整个线程

特点

必须在只有一个单线程里实现并发
修改共享数据不需加锁
用户程序里自己保存多个控制流的上下文栈
附加：一个协程遇到IO操作自动切换到其它协程（如何实现检测IO，yield、greenlet都无法实现，就用到了gevent模块（select机制））

注意：进程线程的任务是由操作系统切换完的
     协程任务之间是由程序切换  就是(自己写的代码)

协程本质就是切换多个任务之间节省一些IO操作（是一种伪线程）

由生成器引出协程

def cour():
    print(11111)
    x=yield
    print(x)

c=cour()
print(c)    #  是一个生成器函数
# <generator object cour at 0x0000027DEB9FFF68>
# 进程已结束，退出代码 0


print(***********************************************)

import  time
def cour():
  while True:
    x=yield
    time.sleep(1)
    print("处理数据",x)

def pud():
    c=cour()
    next(c)
    for i in  range(5):
        print("生产了数据",i)
        c.send(i)
pud()

生产了数据 0
处理数据 0
生产了数据 1
处理数据 1
生产了数据 2
处理数据 2
生产了数据 3
处理数据 3
生产了数据 4
处理数据 4
进程已结束，退出代码 0

 2.协程(真正的协程模块就是使用greenlet完成切换的)

from  greenlet import greenlet

def eat():
    print("开始吃饭了哈哈哈哈")
    g2.switch()   # 切换到g2执行
    print("饭吃完了哈哈哈哈")


def play():
    print("开始跑了哈哈哈啊哈")
g1=greenlet(eat)      # greenlet 表示开启协程
g2=greenlet(play)     # greenlet 表示开启协程
g1.switch()      # switch()    表示g1开始执行


# 开始吃饭了哈哈哈哈
# 开始跑了哈哈哈啊哈
# 进程已结束，退出代码 0

 注意协程自己程序调用 (就是自己写的代码调度执行)   不是由cpu或者操作系统调用

from  greenlet import greenlet
def eat():
    print("开始吃饭了哈哈哈哈")
    g2.switch()   # 切换到g2执行
    print("饭吃完了哈哈哈哈")
    g2.switch()  # 切换到g2执行

def play():
    print("8888888888888888")
    g1.switch()   # 切换到g1执行
    print("9999999999999999")


g1=greenlet(eat)      # greenlet 表示开启协程
g2=greenlet(play)     # greenlet 表示开启协程
g1.switch()           # switch()    表示g1开始执行

开始吃饭了哈哈哈哈
8888888888888888
饭吃完了哈哈哈哈
9999999999999999

from  greenlet import greenlet
def eat():
    print("开始吃饭了哈哈哈哈")
    g2.switch()   # 切换到g2执行
    print("饭吃完了哈哈哈哈")
    g2.switch()  # 切换到g2执行

def play():
    print("8888888888888888")
    g1.switch()   # 切换到g1执行
    print("9999999999999999")
    g1.switch()   # 切换到g1执行

g1=greenlet(eat)      # greenlet 表示开启协程
g2=greenlet(play)     # greenlet 表示开启协程
g1.switch()           # switch()    表示g1开始执行
g2.switch()           # switch()    表示g1开始执行

开始吃饭了哈哈哈哈
8888888888888888
饭吃完了哈哈哈哈
9999999999999999
进程已结束，退出代码

 3.协程(效率比较)单纯的切换（在没有io的情况下或者没有重复开辟内存空间的操作）

          ，反而会降低程序的执行速度

按照顺序执行时间
import time
def f1():
    res=1
    for i in range(100000000):
        res+=i

def f2():
    res=1
    for i in range(100000000):
        res*=i

start=time.time()
f1()
f2()
stop=time.time()
print('run time is %s' %(stop-start)) #10.985628366470337

按照协程切换执行时间
from greenlet import greenlet
import time
def f1():
    res=1
    for i in range(100000000):
        res+=i
        g2.switch()   切换！！！！！！！！！！！！！！！！

def f2():
    res=1
    for i in range(100000000):
        res*=i
        g1.switch()  切换！！！！！！！！！！！！！

start=time.time()
g1=greenlet(f1)
g2=greenlet(f2)
g1.switch()
stop=time.time()
print('run time is %s' %(stop-start)) # 52.763017892837524

注意    这里面时间包含了切换时间 执行时间    切换时间大概4几0秒左右    执行时间大概10几秒左右

                                                            

4.协程Gevent(主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程)

g1=gevent.spawn(func,1,,2,3,x=4,y=5)创建一个协程对象g1，spawn括号内第一个参数是函数名，如eat，后面可以有多个参数，可以是位置实参或关键字实参，都是传给函数eat的

g2=gevent.spawn(func2)

g1.join() #等待g1结束

g2.join() #等待g2结束

#或者上述两步合作一步：gevent.joinall([g1,g2])

g1.value#拿到func1的返回值

用法介绍

# gevent.sleep(2)模拟的是gevent可以识别的io阻塞,
# 而time.sleep(2)或其他的阻塞,gevent是不能直接识别的需要用下面一行代码,打补丁,就可以识别了
# from  gevent import monkey;monkey.patch_all()

import  gevent,time
def eat():
    print("开始吃饭了哈哈哈哈")
    gevent.sleep(1)
    # time.sleep(1)
    print("饭吃完了哈哈哈哈")

def play():
    print("8888888888888888")
    gevent.sleep(1)
    # time.sleep(1)
    print("9999999999999999")


g1=gevent.spawn(eat)      # gevent.spawn表示开启协程
g2=gevent.spawn(play)     # gevent.spawn表示开启协程
g1.join()  等待结束
g2.join()  等待结束


开始吃饭了哈哈哈哈
饭吃完了哈哈哈哈
8888888888888888
9999999999999999

进程已结束，退出代码 0

# 如time，socket模块之前
# 或者我们干脆记忆成：要用gevent，需要将from gevent import monkey;monkey.patch_all()放到文件的开头

注意：进程线程的任务是由操作系统切换完的
     协程任务之间是由程序切换  就是(自己写的代码)只有遇到协程模块识别IO操作时候 程序才会进行切换 实现并发


import  gevent
import  time
from  gevent import monkey;monkey.patch_all()
def eat():
    print("开始吃饭了哈哈哈哈")
    time.sleep(1)
    print("饭吃完了哈哈哈哈")                               

def play():
    print("8888888888888888")
    time.sleep(1)
    print("9999999999999999")


g1=gevent.spawn(eat)      # gevent.spawn表示开启协程
g2=gevent.spawn(play)     # gevent.spawn表示开启协程
g1.join()
g2.join()

import  gevent
import  time
from  gevent import monkey;monkey.patch_all() 
import threading
def eat():
    print(threading.current_thread().getName())   DummyThread-1    DummyThread-1 表示 伪类型线程  就是伪造出来的
    print("开始吃饭了哈哈哈哈")
    time.sleep(1)
    print("饭吃完了哈哈哈哈")

def play():
    print("8888888888888888")
    time.sleep(1)
    print("9999999999999999")


g1=gevent.spawn(eat)      # gevent.spawn表示开启协程
g2=gevent.spawn(play)     # gevent.spawn表示开启协程
g1.join()
g2.join()

DummyThread-1           #  DummyThread-1 表示 伪类型线程  就是伪造出来的
开始吃饭了哈哈哈哈
8888888888888888
饭吃完了哈哈哈哈
9999999999999999

5. Gevent之同步与异步

from gevent import spawn,joinall,monkey;monkey.patch_all()

import time
def task(pid):
    """
    Some non-deterministic task
    """
    time.sleep(0.5)
    print('Task %s done' % pid)


def synchronous():  # 同步
    for i in range(10):
        task(i)

def asynchronous(): # 异步
    g_l=[spawn(task,i) for i in range(10)]
    joinall(g_l)
    print('DONE')
    
if __name__ == '__main__':
    print('Synchronous:')
    synchronous()
    print('Asynchronous:')
    asynchronous()
#  上面程序的重要部分是将task函数封装到Greenlet内部线程的gevent.spawn。
#  初始化的greenlet列表存放在数组threads中，此数组被传给gevent.joinall 函数，
#  后者阻塞当前流程，并执行所有给定的greenlet任务。执行流程只会在 所有greenlet执行完后才会继续向下走。

 6.协程的应用(用于高网络延时 和爬虫)

爬虫案例

# 如time，socket模块之前
# 或者我们干脆记忆成：要用gevent，需要将from gevent import monkey;monkey.patch_all()放到文件的开头
#
from gevent import spawn, joinall, monkey;monkey.patch_all()
import gevent
import time
from  urllib.request import urlopen

def get_date(url):
    res=urlopen(url)
    cc=res.read().decode("utf-8")
    return  len(cc)
g1=gevent.spawn(get_date,"https://www.cnblogs.com/")
g2=gevent.spawn(get_date,"https://www.sina.com.cn/")
g3=gevent.spawn(get_date,"https://www.cnblogs.com/")
g4=gevent.spawn(get_date,"https://www.cnblogs.com/")
g5=gevent.spawn(get_date,"https://www.cnblogs.com/")
aa=gevent.joinall([g1,g2,g3,g4,g5])
for i in  aa:
    print(i.value)

# 41781
# 41781
# 41781
# 535821
# 41781
# 
# 进程已结束，退出代码 0

  使用协程实现socket

sever端      使用协程实现socket

# 如time，socket模块之前
# 或者我们干脆记忆成：要用gevent，需要将from gevent import monkey;monkey.patch_all()放到文件的开头
from gevent import spawn, joinall, monkey;monkey.patch_all()
import gevent
import time

import socket

def msg(conn):
    while True:
        aa=conn.recv(1024).decode("utf-8")
        print(aa)
        bb=input("接收:")
        conn.send(bb.encode("utf-8"))
server=socket.socket()
server.bind(("127.0.0.1",8700))
server.listen(4)
while True:
    conn,addr=server.accept()
    g1=gevent.spawn(msg,conn)

client端
import  socket
cli=socket.socket()
cli.connect(("127.0.0.1",8700))
while True:
   aa=input("发送:")
   cli.send(aa.encode("utf-8"))
   cl= cli.recv(1024).decode("utf-8")
   print(cl)