网络编程——总结

网络编程总复习

1.网络编程

• 软件开发架构

  • c/s架构：

    ​ c: 客户端

    ​ s: 服务端

  • b/s架构

    ​ b: 浏览器

    ​ s: 服务器

服务端：24 H 不间断提供服务

客户端： 需要时找服务器提供服务

网络编程》》》》》》学习cs架构软件

并发编程：前端，数据库，框架》》》》》》开发bs架构软件

实现网络通信的前提：物理连接介质

统一的标准：协议

2、OSI 七层协议

'''
应用层*
表示层
会话层
传输层*
网络层*
数据链路层*
物理链路层*
'''

• 物理链路层：

• 实现计算机之间物理连接，传输的都是010101010的二进制

• 基于电信号工作原理：只有高低电平

• 数据链路层（以太网协议）：通讯方式基本靠吼

  • 规定了二进制的数据分组方式

  • 规定每个接入互联网的设备都必须有一块网卡

    • 每块网卡都必须有世界唯一的mac地址（通常由12位16进制数表示（前六位是厂商编号，后六位是流水线号））

• 网络层（IP协议）：

  • 规定了每个计算机都必须有IP（ipv4和ipv6）
  • ip地址能够唯一标识互联网中独一无二的一台机器

• 传输层（端口协议）：TCP，UDP基于端口工作的协议

  • 计算机应用程序与应用程序之间的通讯

  • 端口（port）：唯一标识一台计算机上的某一个基于网络的通讯的协议

    '''
    	端口范围:0~65535(动态分配)
    		注意：0~1024通常是归操作系统分配的端口号
    		通常情况下，我们写的软件端口号建议起在8000之后
    		flask框架默认端口5000
    		django框架默认端口8000
    		mysql数据库默认端口3306
    		redis数据库默认端口6379
    '''
    	
    	
    

TCP(流式协议，可靠协议)
	三次握手四次挥手

​

UDP协议(数据报协议)
	无需建立双向连接，并且传输数据不可靠，可能会出现丢包的情况
	通信速度比较快，但是发送的数据不会在内存中保留！
qq用的就是udp协议

3、socket层

• 什么是socket层？

  • socket 是 应用层和tcp/ip协议之间通讯的抽象层，是一组接口

  

• socket工作流程

  # 服务端：
  '''
  服务器端先初始化socket，然后与端口绑定（bind），对端口进行监听（listen）
  调用（accept）阻塞，等待客户端连接。
  '''
  # 客户端：
  '''
  客户端初始化socket，然后连接服务器（connect）
  '''
  # 通讯连接
  '''
  连接成功，客户端与服务器端的连接就建立好了，客户端发送数据请求，服务端接收并且处理请求，然后把回应数据发送给客户端回应
  客户端读取数据，关闭连接，完成一次交互
  '''
  

• 服务端套接字函数

s.bind()    绑定(主机,端口号)到套接字
s.listen()  开始TCP监听
s.accept()  被动接受TCP客户的连接,(阻塞式)等待连接的到来

• 客户端套接字函数

s.connect()     主动初始化TCP服务器连接
s.connect_ex()  connect()函数的扩展版本,出错时返回出错码,而不是抛出异常

• 公共端套接字函数

s.recv()            接收TCP数据
s.send()            发送TCP数据(send在待发送数据量大于己端缓存区剩余空间时,数据丢失,不会发完)
s.sendall()         发送完整的TCP数据(本质就是循环调用send,sendall在待发送数据量大于己端缓存区剩余空间时,数据不丢失,循环调用send直到发完)
s.recvfrom()        接收UDP数据
s.sendto()          发送UDP数据
s.getpeername()     连接到当前套接字的远端的地址
s.getsockname()     当前套接字的地址
s.getsockopt()      返回指定套接字的参数
s.setsockopt()      设置指定套接字的参数
s.close()           关闭套接字

• socket （TCP）模块程序

# 服务端
import socket

# 指定端口和每次数据长度
IP_PORT = ('127.0.0.1', 8080)  # 电话卡
BUFSIZE = 1024

server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)  # 买电话

server.bind(IP_PORT)  # 插电话卡
server.listen(5)  # 待机

while True:  # 接收连接循环，可以不停的接电话
    conn, addr = server.accept()  # 接电话 阻塞：等待客户端连接

    while True:  # 新增接收连接的循环，可以不断的通讯
        try:
            msg = conn.recv(BUFSIZE)  # 听电话
            if len(msg) == 0: break  # 防止如果正在连接次client断开，recv发生死循环
            print(msg)

            conn.send(msg.upper()) # 发消息

        except ConnectionResetError:
            break
    conn.close()
server.close()

# 客户端
import socket

IP_PORT = ('127.0.0.1', 8080)  # 电话卡
BUFSIZE = 1024

client = socket.socket(socket.AF_INET,socket.SOCK_STREAM) # 买手机

client.connect(IP_PORT) # 插卡

while True: # 循环连接

    msg = input('请输入你：').strip()
    if len(msg) == 0: continue
    client.send(msg.encode('utf-8')) # 发送给服务端

    serverback=client.recv(BUFSIZE) # 接收服务端反馈
    print(serverback.decode('utf-8'))

s.close()

• 粘包问题

  注：只有tcp才有粘包问题，因为TCP协议是流式协议

  • 什么是粘包：
    • 所谓粘包问题主要还是因为接收方不知道消息之间的界限，不知道一次性提取多少字节的数据所造成的
  • 粘包发生的情况：
    • 发送端需要等缓冲区满才发送出去，造成粘包（发送数据时间间隔很短，数据了很小，会合到一起，产生粘包）
    • 接收方不及时接收缓冲区的包，造成多个包接收（客户端发送了一段数据，服务端只收了一小部分，服务端下次再收的时候还是从缓冲区拿上次遗留的数据，产生粘包）

• 粘包的解决方法

  • 发送数据直接先告诉对方数据大小

  • 利用struct模块制定消息传递协议

• 利用struct 解决方法

• 发送时

  • 先制作报头字典，字典里包括：真实数据的信息，然后利用json序列化，
  • 利用struct进行打包成4个字节的报头
  • 先发送报头长度
  • 编码报头内容发送
  • 最后发送真实内容

• 接收时

  • 先接收报头长度，用struct取出来
  • 根据报头长度接收报头内容，然后编码，反序列化
  • 从反序列化的结果中抽取带去的数据详细信息，然后去真实的数据内容

• 案例：利用socket发送大文件

# 客户端
import socket
import struct
import json
import os

IP_PORT = ('127.0.0.1',8080)
client = socket.socket()
client.connect(IP_PORT)

file_path = r'F:python_s7网络编程复习a'
file_size = os.path.getsize(file_path)

dic = {
    'file_name': 'b',
    'file_siz': file_size,
}
# json序列化
header_json = json.dumps(dic)
header_bytes = header_json.encode('utf-8')

# 制作字典报头
header = struct.pack('i',len(header_bytes))

# 发送报头
client.send(header)

# 发送字典数据
client.send(header_bytes)

# 发送真实内容
with open(file_path,'rb')as f:
    for line in f:
        client.send(line)

# 服务端
import socket
import json
import struct


IP_PORT = ('127.0.0.1',8080)
server = socket.socket()
server.bind(IP_PORT)
server.listen(5)

while True:
    conn,addr = server.accept()
    while True:
        try:
            header = conn.recv(4)
            if len(header)==0:break
            dic_len = struct.unpack('i',header)[0]
            dic = json.loads(conn.recv(dic_len).decode('utf-8'))

            file_name = dic['file_name']
            file_size = dic['file_size']
            recv_size =  0
            with open(file_name,'wb') as f :
                while recv_size<file_size:
                    data = conn.recv(1024)
                    f.write(data)
                    recv_size += len(data)

        except ConnectionResetError:
            break

• socket（UDP）协议

"""
1.udp协议客户端允许发空
2.udp协议不会粘包
3.udp协议服务端不存在的情况下，客户端照样不会报错
4.udp协议支持并发

UDP叫数据报协议，意味着发消息都带有数据报头
udp的server不需要就行监听也不需要建立连接
在启动服务之后只能被动的等待客户端发送消息过来，客户端发送消息的时候，要带上服务端的地址
服务端在回复消息的时候，也需要带上客户端的地址
"""

# 服务端
import socket

server = socket.socket(type=socket.SOCK_DGRAM)
server.bind(('127.0.0.1', 8080))

msg, addr = server.recvfrom(1024)
print(msg.decode('utf-8'))
server.sendto(b'hello', addr)

server.close()

#客户端
import socket

client = socket.socket(type=socket.SOCK_DGRAM)
server_addr = ('127.0.0.1', 8080)

client.sendto(b'hello server baby!', server_addr)
msg, addr = client.recvfrom(1024)
print(msg, addr)

4、socketsever 实现并发

# TCP socketserver使用
import socketserver

class MyTcpSever(socketserver.BaseRequestHandler):
    def handle(self):
        while True:
            try:
                # self.request 相当于conn对象
                data = self.request.recv(1204)
                if len(data) == 0: break
                print(data)
                self.request.send(data.upper())

            except ConnectionResetError:
                break

if __name__ == '__main__':
    sever = socketserver.ThreadingTCPServer(('127.0.0.1',8081),MyTcpSever)
    sever.serve_forever()
# Tcp客户端
import socket


client = socket.socket()
client.connect(('127.0.0.1',8080))

while True:
    client.send(b'hello')
    data = client.recv(1024)
    print(data)



# UDP socketserver使用
import socketserver


class MyUdpServer(socketserver.BaseRequestHandler):
    def handle(self):
        while True:
            data, sock = self.request
            print(data)
            sock.sendto(data.upper(), self.client_address)


if __name__ == '__main__':
    server = socketserver.ThreadingUDPServer(('127.0.0.1', 8080), MyUdpServer)
    server.serve_forever()
    
# UDP 客户端
import socket
import time

client = socket.socket(type=socket.SOCK_DGRAM)
server_addr = ('127.0.0.1',8080)

while True:
    client.sendto(b'hello',server_addr)
    data,addr = client.recvfrom(1024)
    print(data,addr)
    time.sleep(1)