day32

目录

回顾

软件开发架构:
C/S:
Client: 客户端
Server: 服务端

优点:
占用网络资源少,软件的使用稳定

缺点:
服务端更新后,客户端也得跟着跟新.
需要使用多个软件,需要下载多个客户端

B/S:
Browser: 浏览器(客户端)
Server: 服务端

服务端与客户端作用:
服务端: 24小时不间断提供服务
客户端: 需要体验服务端时,再去连接服务端,并享受服务

一 网络编程:
1.互联网协议OSI七层协议
1)应用层
2)表示层
3)会话层
4)传输层
5)网络层
6)数据链路层
7)物理连接层

物理连接层
基于电信号发送二进制数据.

数据链路层

1. 规定好电信号的分组方式
2. 必须要有一块网卡:

• mac地址:
  12位唯一的16进制字符串
• 前6位: 厂商号
• 后6位: 流水号
  以太网协议:
  在同一个局域网内通信.
  单播
  1对1吼
  广播
  多对多吼
  广播风暴:
  不能跨局域网通信
  网络层
  ip: 定位局域网的位置
  port: 唯一标识一台计算机上一个应用程序.
  arp协议:
  将mac地址获取,并解析成ip和port.
  传输层
  TCP
  特点:
  TCP协议称之为流式协议.

若想要通信,必须建立连接,并建立双向通道.
三次握手,四次挥手
三次握手建连接
客户端往服务端发送请求建立通道
服务端要确认客户端的请求,并往客户端也发送请求建立通道
客户端接收到服务端建立连接的请求,并返回确认
建立双向通道
双向通道:
反馈机制
客户端往服务端发送请求获取数据,服务端务必返回数据,客户端确认收到.
反则会反复发送,一直到某个时间段内,会停止发送
四次挥手断连接
C往S发送断开连接请求,S返回确认收到
S需要再次发送断开连接请求
C返回确认收到
最终确认断开连接
UDP
1)数据不安全
2)不需要建立双向通道
3)传输速度快
4)不会有粘包问题
5)客户端发送数据,不需要服务端确认收到,爱收不收

TCP与UPD的区别:
TCP: 比喻成在打电话
UDP: 比喻成发送短信

应用层
ftp
http:
可以携带一堆数据

http + ssl

2.socket
socket用来写套接字客户端与服务端的模块,内部帮我们封装好了7层协议需要做的事情.

3.手撸socket套接字模板

• 服务端:
  import socket
  server = socket.socket()
  server.bind(
  (ip, port)
  ) # 绑定手机号
  server.listen(6) # 半连接池: 可以接待7个客户端

监听连接

conn, addr =server.accept()

接收消息

data = conn.recv(1024)

发送消息

conn.send('消息内容'.encode('utf-8'))

客户端:
import socket
client = socket.socket()
client.connect(
(ip, port)
)
发送消息
client.send()
接收消息
client.recv(1024)
4.subprocess(了解)
用来通过代码往cmd创建一个管道,并且发送命令和接收cmd返回的结果.
import subprocess
obj = subprocess.Popen(
'cmd命令',
shell=True,

接收正确结果

​ stdout=subprocess.PIPE,

接收错误结果

​ stderr=subprocess.PIPE
​ )
​ success = obj.stdout.read()
​ error = obj.stderr.read()
​ msg = success + error

5.黏包问题
1.不能确定对方发送数据的大小
2.在短时间内,间隔时间短,并且数据量小的情况, 默认将这些数据打包成一个
多次发送的数据 ---> 一次性发送

6.struct解决黏包问题
初级版:
i: 4
可以将一个数据的长度打包成一个固定长度的报头.
struct.pack('模式i', '源数据长度')
data = 'gagawagwaga'

打包成报头

headers = struct.pack('i', len(data))

解包获取数据真实长度
data = struct.unpack('i', headers)[0]

注意: 以什么方式打包,必须以什么方式解包.

升级版:
先将数据存放到字典中,将字典打包发送过去

• 字典的好处:
• 真实数据长度
• 文件的描述信息
• 发送的数据,更小

dic = {
'data_len': 1000000000000000000000046546544444444444444444444444444444444444444,
文件的描述信息
}

7.上传大文件数据

客户端

dic = {
文件大小,
文件名
}

with open(文件名, 'rb') as f:
for line in f:
client.send(line)

服务端
dic = {
文件大小,
文件名
}
init_recv = 0
with open(文件名, 'wb') as f:
while init_recv < 文件大小:
data = conn.recv(1024)
f.write(data)
init_recv += len(data)

10.socketserver(现阶段,了解)

• 可以支持并发
  import socketserver

定义类

TCP: 必须继承BaseRequestHandler类

​ class MyTcpServer(socketserver.BaseRequestHandler):

• handle

  内部实现了

  server = socket.socket()
  server.bind(
  ('127.0.0.1', 9527)
  )
  server.listen(5) ---

  while True:
  conn, addr = server.accept()
  print(addr)

必须重写父类的handle, 当客户端连接时会调用该方法

def handle(self):
print(self.client_address)
while True:
try:
# 1.接收消息
# request.recv(1024) == conn.recv(1024)
data = self.request.recv(1024).decode('utf-8')
send_msg = data.upper()
self.request.send(send_msg.encode('utf-8'))

    except Exception as e:
        print(e)
        break

TCP:
SOCK_STREAM
conn.recv()

UDP模板:
SOCK_DGRAM
server.recvfrom()

服务端
import socket
server = socket.socket(
type=socket.SOCK_DGRAM
)
server.bind(
(ip, port)
)
data, addr = server.recvfrom(1024)
server.sendto(data, addr)

客户端
import socket
client = socket.socket(
type=socket.SOCK_DGRAM
)
ip_port = (ip, port)

client.sendto(data, ip_port)

data, _ = client.recvfrom(1024)
print(data)

二 并发编程
12.多道技术

• 单道

多道: 切换 + 保存状态
空间上的复用
支持多个程序使用

时间上的复用
遇到IO操作就会切换程序
程序占用CPU时间过长切换
13.并发与并行
并发: 看起来像同时运行: 多道技术
并行: 真正意义上的同时运行: 多核下

14.进程
进程是资源单位,没创建一个进程都会生成一个名称空间,占用内存资源.

程序与进程
程序就是一堆代码
进程就是一堆代码运行的过程

进程调度

• 时间片轮转法
  10个进程, 将固定时间,等分成10份时间片,分配给每一个进程.

分级反馈队列
1级别:
2级别:
3级别:
进程的三个状态

• 就绪态:
  创建多个进程, 必须要排队准备运行

运行态:
进程开始运行, 1.结束 2.阻塞

阻塞态:
当运行态遇到IO操作,就会进阻塞态.

同步与异步
提交任务的方式

• 同步: 同步提交, 串行,一个任务结束后,另一个任务才能提交并执行.
• 异步: 异步提交, 多个任务可以并发运行

阻塞与非阻塞
阻塞:
阻塞态
非阻塞:
就绪态
运行态
同步和异步、阻塞和非阻塞的区别。
两者是不同的概念,不能混为一谈.

创建进程的两种方式
一:
p = Process(target=任务, args=(任务的参数, ))
p.daemon = True # 必须放在start()前,否则报错
p.start() # 向操作系统提交创建进程的任务
p.join() # 向操作系统发送请求, 等所有子进程结束,父进程再结束

二:
class MyProcess(Process):
def run(self): # self == p
任务的过程

p = MyProcess()
p.daemon = True # 必须放在start()前,否则报错
p.start() # 向操作系统提交创建进程的任务
p.join() # 向操作系统发送请求, 等所有子进程结束,父进程再结束

回收进程资源的两种条件

• 调用join让子结束后,主进程才能结束.
• 主进程正常结束

15.僵尸进程与孤儿进程(了解)
僵尸进程: 凡是子进程结束后,PID号还在, 主进程意外死亡,没法给子进程回收资源.

• 每个子进程结束后,都会变成,僵尸进程 (PID)

孤儿进程: 凡是子进程没有结束,但是主进程意外死亡.操作系统优化机制(孤儿院),
会将没有主,并且存活的进程,在该进程结束后回收资源.

16.守护进程
只要父进程结束,所有的子进程都必须结束.

17.互斥锁
将并发变成串行,牺牲执行效率,保证数据安全.

from multiprocessing import Lock
mutex = Lock()
加锁
mutex.acquire()
修改数据
mutex.release()

18.队列

• FIFO队列: 先进先出
  from multiprocessing import Queue
  q = Queue(5)
  添加数据,若队列添加数据满了,则等待
  ​ q.put()
  添加数据,若队列添加数据满了,直接报错
  ​ q.put_nowait()

获取队列中的数据
q.get() # 若队列中没数据,会卡住等待
q.get_nowait() # 若队列中没数据,会直接报错

19.堆栈
LIFO

20.IPC进程间通信

• 进程间的数据是隔离的
• 队列可以让进程间通信
• 把一个程序放入队列中,另一个程序从队列中获取,实现进程间数据交互

21.生产者与消费者 模型
生产者: 生产数据
消费者: 使用数据
为了保证 供需平衡.

通过队列实现, 生产者将数据扔进队列中,消费者从队列中获取数据.
可以保证一边生产一边消费.

22.线程

• 什么是线程
• 进程: 资源单位
• 线程: 执行单位
• 创建进程时,会自带一个线程

一个进程下可以创建多个线程.

使用线程的好处
节省资源的开销

进程与线程优缺点:
进程:
优点:

• 多核下可以并行执行
• 计算密集型下提高效率

缺点:

• 开销资源远高于线程

线程:
优点:

• 占用资源远比进程小
• IO密集型下提高效率

缺点:

无法利用多核优势
23.线程间数据是共享的

• 画图

24.GIL全局解释器锁

只有Cpython才有自带一个GIL全局解释器锁
1.GIL本质上是一个互斥锁.
2.GIL的为了阻止同一个进程内多个线程同时执行(并行)
单个进程下的多个线程无法实现并行,但能实现并发
3.这把锁主要是因为CPython的内存管理不是 "线程安全" 的.

• 内存管理
• 垃圾回收机制

​ 注意: 多个线程过来执行,一旦遇到IO操作,就会立马释放GIL解释器锁,交给下一个先进来的线程.

总结: GIL的存在就是为了保证线程安全的,保证数据安全

25.多线程使用的好处

• 多线程:
  IO密集型,提高效率

多进程
计算密集型,提高效率
26.死锁现象(了解)

27.递归锁(了解,以后不用)
解决死锁现象
mutex = Lock() # 只能引用1次
mutex1, mutex2 = RLock() # 可以引用多次
+1, 只要这把锁计数为0释放该锁, 让下一个人使用, 就不会出现死锁现象.

28.信号量(绝对了解)
信号量也是一把锁, 可以让多个任务一起使用.
互斥锁:
只能让一个任务使用
信号量:
可以让多个任务一起使用.
sm = Semaphore(5) 可以让5个任务使用

29.线程队列
使用场景:
若线程间数据不安全情况下使用线程队列, 为了保证线程间数据的安全.
import queue

• FIFO: 先进先出队列
  queue.Queue()
• LIFO: 后进先出队列
  queue.LifoQueue()
• 优先级队列:
• 根据数字大小判断,判断出队优先级.
• 进队数据是无序的
  queue.PriorityQueue()

30.event事件
可以控制线程的执行,让一些线程控制另一些线程的执行.
e = Event()

线程1
e.set() # 给线程2发送信号,让他执行

线程2
e.wait() # 等待线程1的信号

31.进程池与线程池
为了控制进程/线程创建的数量,保证了硬件能正常运行.
from concurrent.futures import ProcessPoolExecutor, ThreadPoolExecutor

pool1 = ProcessPoolExecutor() # 默认CPU个数
pool2 = ThreadPoolExecutor() # CPU个数 * 5
pool3 = ProcessPoolExecutor(100) # 100个
pool4 = ThreadPoolExecutor(200) # 200个

将函数地址的执行结果,给回调函数
pool4.submit(函数地址, 参数).add_done_callback(回调函数地址)

回调函数(必须接收一个参数res):
获取值
res2 = res.result()
32.协程

• 进程: 资源单位
• 线程: 执行单位
• 协程: 单线程下实现并发, 不是任何的单位,是程序员YY出来的名字.

单线程下实现并发
好处是节省资源, 单线程 < 多线程 < 多进程

IO密集型下:
协程有优势

计算密集型下:
进程有优势

高并发:
多进程 + 多线程 + 协程 (Nginx)
协程的创建:
手动实现切换 + 保存状态:

• yield

函数一直在调用next()
会不停地切换
yield不能监听IO操作的任务

gevent来实现监听IO操作
33.gevent
pip3 install gevent
from gevent import monkey
monkey.patch_all() # 设置监听所有IO
from gevent import spawn, joinall # 实现 切换 + 保存状态

实现了单线程下实现并发
s1 = spawn(任务1)
s2 = spawn(任务2)
joinall([s1, s2])
34.IO模型(了解)

• 阻塞IO
• 非阻塞IO
• 多路复用IO
• 异步IO