多线程/多进程/异步IO

SOCK_STREAM :TCP
SOCK_Dgram :UDP

family=
AF_INET: 服务器之间的通信
AF_INET6: 服务器之间的通信
AF_UNIX: Unix不同进程间的通信

永远遵循一发一收的原则
Day6
server 下的方法

bind() 连结IP地址和端口
listen() 每次最多几个等候
accept() 接受client里面的数据

client 下的方法

connect()

共同的方法

recv(1024)
send(string) 发送数据
sendall()


---------线程与进程---------
线程模块

import threading

t1 = threading.Thread(target=foo, args=(2,)) # 创建一个新的线程
t1.setDaemon() # 守护线程, 主程序结束,子线程直接结束
t1.start() # 执行该线程
t1.join() # 线程没执行完就停在这里 阻塞线程用
threading.current_thread()
threading.active_count()

锁:

https://www.cnblogs.com/yuanchenqi/p/5733873.html

r = threading.Lock()

r.require() 加锁
r.release() 解锁
只有执行完里面的内容才会切换线程

r = threading.Rlock() 可以重用的递归锁

event
event.isSet()：返回event的状态值；
event.wait()：如果 event.isSet()==False将阻塞线程；
event.set()： 设置event的状态值为True，所有阻塞池的线程激活进入就绪状态， 等待操作系统调度；
event.clear()：恢复event的状态值为False。



# 多线程服务器
import socketserver

Class MyServer(socketserver):

def handle(self):
pass

if __name__ == '__main__':
server = socketserver.ThreadingTCPServer(('127.0.0.1', 8000), MyServer)
server.serve_forever()


# 多进程
from multiprocessing import Process

p = Process(target=foo, args=(1,))
p.start()
p.join() # 直接调用


#类调用
Class MyProcess(Process):
def __init__(self, name)
super(MyProcess, self).__init__()
self.name = name

def run(self):
pass

if __name__ == '__main__':

for i in range(5):
p = MyProcess('sss%s' % i)
p_list.append(p)
p.start()
for p in p_list:
p.join()

构造方法:
Process([group [, target [, name [, args [, kwargs]]]]])

　　group: 线程组，目前还没有实现，库引用中提示必须是None；

　　target: 要执行的方法；
　　name: 进程名；
　　args/kwargs: 要传入方法的参数。

方法
is_alive()：返回进程是否在运行。
　　join([timeout])：阻塞当前上下文环境的进程程，直到调用此方法的进程终止或到达指定的timeout（可选参数）。
　　start()：进程准备就绪，等待CPU调度
　　run()：start()调用run方法，如果实例进程时未制定传入target
　　terminate()：不管任务是否完成，立即停止工作进程
属性：
　　authkey
　　daemon：和线程的setDeamon功能一样
　　exitcode(进程在运行时为None、如果为–N，表示被信号N结束）
　　name：进程名字。
　　pid：进程号。

Manager 共享线程下面的所有数据 Queue 队列
from multiprocessing import Process, Manager, Queue, Pipe

with Manager() as manager:
d = manager.dic() #这样之后d 就可以在所有进程中通用
q = Queue() # 建立一个可以在进程中修改的队列
parent_conn, child_conn = Pipe() # 进程之间可以通过这两个来收发消息



---------线程池----------------
https://www.cnblogs.com/wupeiqi/articles/6229292.html
https://www.cnblogs.com/wupeiqi/articles/4839959.html

from concurrent.futures import ThreadPoolExecutor
def async_url():
pass
pool = ThreadPoolExecutor(len(url_list))
pool.submit(async_url, url)

pool.shutdown(wait=True)

进程就是 ProcessPollExecutor

-----------------协程-----------------
yield 协程
遇到用的时候调用
gevent

def f():
pass
monkey.patch_all()
gevent.joinall([
gevent.spawn(f, 'https://www.cnblogs.com/alex3714/articles/5248247.html'),
gevent.spawn(f, 'https://www.yahoo.com/'),
gevent.spawn(f, 'https://github.com/'),
])






线程: 计算机工作的最小单元
进程: 默认主线程,可以有多个线程共存, 共享资源
协程: 使用进程中的一个线程去做多个任务, 微线程
多线程: IO密集型
多进程: 计算密集型
GIL: 全局解释器锁 同一时间被CPU调用的只有一个线程 Cpython特有


-------------异步IO---------------
1.
asyncio 不支持http
asyncio + aiohttp 可以支持http
asyncio + requests

2.
gevent+requests
grequests

3.
Twisted

4.
Tornado

http://www.cnblogs.com/linhaifeng/articles/7454717.html

mongodb
https://www.cnblogs.com/moning/p/8329406.html


###########未解决
-------Timer---------

def hello():
print("hello, world")

t = Timer(30.0, hello)
t.start()

sk.bind(address)
　　将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下，以元组（host,port）的形式表示地址。
sk.listen(backlog)
　　#开始监听传入连接。backlog指定在拒绝连接之前，可以挂起的最大连接数量。
#backlog等于5，表示内核已经接到了连接请求，但服务器还没有调用accept进行处理的连接个数最大为5
#这个值不能无限大，因为要在内核中维护连接队列
sk.setblocking(bool)
　　#是否阻塞（默认True），如果设置False，那么accept和recv时一旦无数据，则报错。
sk.accept()
　　#接受连接并返回（conn,address）,其中conn是新的套接字对象，可以用来接收和发送数据。address是连接客户端的地址。
　　#接收TCP 客户的连接（阻塞式）等待连接的到来
sk.connect(address)
　　#连接到address处的套接字。一般，address的格式为元组（hostname,port）,如果连接出错，返回socket.error错误。
sk.connect_ex(address)
　　#同上，只不过会有返回值，连接成功时返回 0 ，连接失败时候返回编码，例如：10061
sk.close()
　　#关闭套接字
sk.recv(bufsize[,flag])
　　#接受套接字的数据。数据以字符串形式返回，bufsize指定最多可以接收的数量。flag提供有关消息的其他信息，通常可以忽略。
sk.recvfrom(bufsize[.flag])
　　#与recv()类似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。
sk.send(string[,flag])
　　#将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。即：可能未将指定内容全部发送。
sk.sendall(string[,flag])
　　#将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。
#内部通过递归调用send，将所有内容发送出去。
sk.sendto(string[,flag],address)
　　#将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。
sk.settimeout(timeout)
　　#设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如 client 连接最多等待5s ）
sk.getpeername()
　　#返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。
sk.getsockname()
　　#返回套接字自己的地址。通常是一个元组(ipaddr,port)
sk.fileno()
　　#套接字的文件描述符