python的socketserver模块实现TCP/UDP并发

基于tcp的套接字，关键就是两个循环，一个链接循环，一个通信循环

socketserver模块中分两大类：server类（解决链接问题）和request类（解决通信问题）

server类：

 request类：

 继承关系:

 

 

 以下述代码为例，分析socketserver源码：

ftpserver=socketserver.ThreadingTCPServer(('127.0.0.1',8080),FtpServer)
ftpserver.serve_forever()

查找属性的顺序：ThreadingTCPServer->ThreadingMixIn->TCPServer->BaseServer

1. 实例化得到ftpserver，先找类ThreadingTCPServer的init,在TCPServer中找到，进而执行server_bind,server_active
2. 找ftpserver下的serve_forever,在BaseServer中找到，进而执行self._handle_request_noblock()，该方法同样是在BaseServer中
3. 执行self._handle_request_noblock()进而执行request, client_address = self.get_request()（就是TCPServer中的self.socket.accept()），然后执行self.process_request(request, client_address)
4. 在ThreadingMixIn中找到process_request，开启多线程应对并发，进而执行process_request_thread，执行self.finish_request(request, client_address)
5. 上述四部分完成了链接循环，本部分开始进入处理通讯部分，在BaseServer中找到finish_request,触发我们自己定义的类的实例化，去找init方法，而我们自己定义的类没有该方法，则去它的父类也就是BaseRequestHandler中找....

 

源码分析总结：

基于tcp的socketserver我们自己定义的类中的

1. self.server即套接字对象
2. self.request即一个链接
3. self.client_address即客户端地址

基于udp的socketserver我们自己定义的类中的

1. self.request是一个元组（第一个元素是客户端发来的数据，第二部分是服务端的udp套接字对象），如(b'adsf', )
2. self.client_address即客户端地址

FtpServer

import socketserver
import struct
import json
import os
class FtpServer(socketserver.BaseRequestHandler):
    coding='utf-8'
    server_dir='file_upload'
    max_packet_size=1024
    BASE_DIR=os.path.dirname(os.path.abspath(__file__))
    def handle(self):
        print(self.request)
        while True:
            data=self.request.recv(4)
            data_len=struct.unpack('i',data)[0]
            head_json=self.request.recv(data_len).decode(self.coding)
            head_dic=json.loads(head_json)
            # print(head_dic)
            cmd=head_dic['cmd']
            if hasattr(self,cmd):
                func=getattr(self,cmd)
                func(head_dic)
    def put(self,args):
        file_path = os.path.normpath(os.path.join(
            self.BASE_DIR,
            self.server_dir,
            args['filename']
        ))

        filesize = args['filesize']
        recv_size = 0
        print('----->', file_path)
        with open(file_path, 'wb') as f:
            while recv_size < filesize:
                recv_data = self.request.recv(self.max_packet_size)
                f.write(recv_data)
                recv_size += len(recv_data)
                print('recvsize:%s filesize:%s' % (recv_size, filesize))

ftpserver=socketserver.ThreadingTCPServer(('127.0.0.1',8080),FtpServer)
ftpserver.serve_forever()

FtpClient

import socket
import struct
import json
import os

class MYTCPClient:
    address_family = socket.AF_INET

    socket_type = socket.SOCK_STREAM

    allow_reuse_address = False

    max_packet_size = 8192

    coding='utf-8'

    request_queue_size = 5

    def __init__(self, server_address, connect=True):
        self.server_address=server_address
        self.socket = socket.socket(self.address_family,
                                    self.socket_type)
        if connect:
            try:
                self.client_connect()
            except:
                self.client_close()
                raise

    def client_connect(self):
        self.socket.connect(self.server_address)

    def client_close(self):
        self.socket.close()

    def run(self):
        while True:
            inp=input(">>: ").strip()
            if not inp:continue
            l=inp.split()
            cmd=l[0]
            if hasattr(self,cmd):
                func=getattr(self,cmd)
                func(l)

    def put(self,args):
        cmd=args[0]
        filename=args[1]
        if not os.path.isfile(filename):
            print('file:%s is not exists' %filename)
            return
        else:
            filesize=os.path.getsize(filename)

        head_dic={'cmd':cmd,'filename':os.path.basename(filename),'filesize':filesize}
        print(head_dic)
        head_json=json.dumps(head_dic)
        head_json_bytes=bytes(head_json,encoding=self.coding)

        head_struct=struct.pack('i',len(head_json_bytes))
        self.socket.send(head_struct)
        self.socket.send(head_json_bytes)
        send_size=0
        with open(filename,'rb') as f:
            for line in f:
                self.socket.send(line)
                send_size+=len(line)
                print(send_size)
            else:
                print('upload successful')


client=MYTCPClient(('127.0.0.1',8080))

client.run()

一、socketserver模块基本使用

# 服务端
# encoding=utf-8
# auther：lsj
# 使用socketserver模块实现TCP协议

import socketserver
class MyRequestHandle(socketserver.BaseRequestHandler):
    def handle(self):
        print(self.request) # 如果是tcp协议，self.request-->conn
        print(self.client_address)  # self.client_address-->客户端的IP地址

s = socketserver.ThreadingTCPServer(('127.0.0.1',8080),MyRequestHandle)
s.serve_forever()  # 服务到永远，类似于下面的while True循环
# 服务端做两件事
# 第一件事：循环地从半连接池中取出链接请求与其建立双双向链接，拿到链接对象
# while True:
#     conn,client_addr = socketserver
#     启动一个线程(conn，client_addr)
# 第二件事：拿到链接对象，与其进行通讯循环--》写入handle方法中去

 socketserver模块的客户端（客户端、客户端1、客户端2代码都相同）

# 客户端
# encoding=utf-8
# auther：lsj
# 使用socketserver模块实现TCP协议的并发

from socket import *

client = socket(AF_INET,SOCK_STREAM) # AF_INET:基于网络通信，SOCK_STREAM:基于TCP协议
client.connect(('127.0.0.1',8080))

while True:
    cmd = input('请输入命令>>:').strip()
    if len(cmd) == 0:continue
    client.send(cmd.encode('utf-8'))
    cmd_res = client.recv(1024) # 本次接收，最大接收1024Bytes（我们发送的命令越简单越好所以1024就够了）
    print(cmd_res.decode('GBK')) # 强调：windows系统用gbk，Linux系统用utf-8。

 运行结果：

# 先启动服务端，后陆续启动客户端、客户端1、客户端2，查看服务端状态如下：
# 服务端启动后没有客户端启动
D:Python38python.exe D:/pycharm/oldboy_29/day037/day037_06socketserver模块基本使用/服务端.py
# 启动了客户端
<socket.socket fd=528, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 8080), raddr=('127.0.0.1', 59384)>
('127.0.0.1', 59384)
# 启动了客户端1
<socket.socket fd=116, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 8080), raddr=('127.0.0.1', 59386)>
('127.0.0.1', 59386)
# 启动了客户端2
<socket.socket fd=536, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 8080), raddr=('127.0.0.1', 59390)>
('127.0.0.1', 59390)

 二、使用socketserver模块实现TCP协议的并发（修改服务端代码）

# encoding=utf-8
# auther：lsj
# 使用socketserver模块实现TCp协议的并发

import socketserver
class MyRequestHandle(socketserver.BaseRequestHandler):
    def handle(self):
        # print(self.request) # 如果是tcp协议，self.request-->conn
        # print(self.client_address)  # self.client_address-->客户端的IP地址
        while True:
            try:
                cmd = self.request.recv(1024)
                if len(cmd) == 0: break
                self.request.send(cmd.upper())
            except Exception:
                break
            self.request.close()
s = socketserver.ThreadingTCPServer(('127.0.0.1',8080),MyRequestHandle)
s.serve_forever()  # 服务到永远，类似于下面的while True循环
# 服务端做两件事
# 第一件事：循环地从半连接池中取出链接请求与其建立双双向链接，拿到链接对象
# while True:
#     conn,client_addr = socketserver
#     启动一个线程(conn，client_addr)
# 第二件事：拿到链接对象，与其进行通讯循环--》写入handle方法中去

先启动服务端，后陆续启动客户端、客户端1、客户端2，查看服务端状态如下：

# 启动客户端
D:Python38python.exe D:/pycharm/oldboy_29/day037/day037_06socketserver模块基本使用/客户端.py
请输入命令>>:hello
HELLO
请输入命令>>:

# 启动客户端1
D:Python38python.exe D:/pycharm/oldboy_29/day037/day037_06socketserver模块基本使用/客户端1.py
请输入命令>>:world
WORLD
请输入命令>>:

# 启动客户端2
D:Python38python.exe D:/pycharm/oldboy_29/day037/day037_06socketserver模块基本使用/客户端2.py
请输入命令>>:lsj
LSJ
请输入命令>>:

 三、使用socketserver模块实现UDP协议的并发

# 服务端
# encoding=utf-8
# auther：lsj
# 模拟服务端
# 服务端应该满足的特点：
"""
1、一直提供服务
2、并发地提供服务
"""
import socketserver

class MyRequestHanlde(socketserver.BaseRequestHandler):
    def handle(self):
        client_data = self.request[0]
        server=self.request[1]
        client_address=self.client_address
        print(self.request)
        print("客户端发来的数据%s"%client_data)
        server.sendto(client_data.upper(),client_address)
s =socketserver.ThreadingUDPServer(('127.0.0.1',8080),MyRequestHanlde)
s.serve_forever()
# 相当于whlie True:循环只负责循环的接收
# while True:
#     data,client_adr = server.recvfrom(1024)
    # 启动一个线程处理后续的事情(data,client_adr)
#     server.sendto(data.upper(),client_adr)
#     server.close()

# 客户端
# encoding=utf-8
# auther：lsj
# 模拟客户端
import socket
client=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
while True:
    msg=input('>>>:').strip()
    client.sendto(msg.encode('utf-8'),('127.0.0.1',8080))
    res = client.recvfrom(1024)
    print(res)
client.close()

启动服务端和客户端、客户端1，运行结果如下：

# 客户端
D:Python38python.exe D:/pycharm/oldboy_29/day037/day037_06socketserver模块基本使用/基于UDP协议的socketserver的使用/客户端.py
>>>:hello
(b'HELLO', ('127.0.0.1', 8080))
>>>:world
(b'WORLD', ('127.0.0.1', 8080))
>>>:

# 客户端1
D:Python38python.exe D:/pycharm/oldboy_29/day037/day037_06socketserver模块基本使用/基于UDP协议的socketserver的使用/客户端1.py
>>>:lsj
(b'LSJ', ('127.0.0.1', 8080))
>>>:

# 服务端
D:Python38python.exe D:/pycharm/oldboy_29/day037/day037_06socketserver模块基本使用/基于UDP协议的socketserver的使用/服务端.py
(b'hello', <socket.socket fd=508, family=AddressFamily.AF_INET, type=SocketKind.SOCK_DGRAM, proto=0, laddr=('127.0.0.1', 8080)>)
客户端发来的数据b'hello'
(b'world', <socket.socket fd=508, family=AddressFamily.AF_INET, type=SocketKind.SOCK_DGRAM, proto=0, laddr=('127.0.0.1', 8080)>)
客户端发来的数据b'world'
(b'lsj', <socket.socket fd=508, family=AddressFamily.AF_INET, type=SocketKind.SOCK_DGRAM, proto=0, laddr=('127.0.0.1', 8080)>)
客户端发来的数据b'lsj'