zoukankan      html  css  js  c++  java
  • python之路-----网络编程

      一:客户端/服务端j架构(C/S架构)

      在生活中,最常见的C/S架构即是APP和网页服务器这个架构。Client和Server之间利用网络来进行通信,客户端和服务器端的程序不同,用户的程序主要在客户端,服务器端主要提供数据管理、数据共享、数据及系统维护和并发控制等,客户端程序主要完成用户的具体的业务。这样写开发更简单,操作简便。B/S架构(浏览器/服务器)也是属于C/S架构中的一员。

      server端具有以下特点 :

      1.继续的提供服务  

      2.绑定一个唯一的地址(有ip + 端口组成)

    2.SOCKET 介绍

      因为client和 server之间的通信需要利用到网络,所以我们有必要先了解下网络协议和iso模式。关于网络的介绍,可以看:http://www.cnblogs.com/white-small/p/6714006.html。

      我们编写的软件,是 工作在应用层的,软件数据需要发送出去,必须经过传输层。由于传输层的协议负责,所以系统在应用层和传输层之间又新加 了一个socket层,socket的作用既是对传输层的协议进行封装,这样我们只需要通过socket调用对应端口,既可以实现调用传输层对应的协议,隔离了复杂度 ,降低了开发难度。

      

      socket总结:

        Socket是应用层与TCP/IP协议族通信的中间软件抽象层,它是一组接口。在设计模式中,Socket其实就是一个门面模式,它把复杂的TCP/IP协议族隐藏在Socket接口后面,对用户来说,一组简

      单的接口就是全部,让Socket去组织数据,以符合指定的协议。所以,我们无需深入理解tcp/udp协议,socket已经为我们封装好了,我们只需要遵循socket的规定去编程,写出的程序自然就是遵

      tcp/udp标准的。

    也有人将socket说成ip+port,ip是用来标识互联网中的一台主机的位置,而port是用来标识这台机器上的一个应用程序,ip地址是配置到网卡上的,而port是应用程序开启的,ip与port的绑定就标识了互联网中独一无二的一个应用程序
    
    而程序的pid是同一台机器上不同进程或者线程的标识
    补充知识

    三.套接字

      套接字的分类: 

      1.基于文件类型的套接字 (解决通个服务器不同软件之间的通信)

        套接字家族的名字:AF_UNIX

        unix一切皆文件,基于文件的套接字调用的就是底层的文件系统来取数据,两个套接字进程运行在同一机器,可以通过访问同一个文件系统间接完成通信

      2.基于网络类型的套接字   

        套接字家族的名字:AF_INET

        (还有AF_INET6被用于ipv6,还有一些其他的地址家族,不过,他们要么是只用于某个平台,要么就是已经被废弃,或者是很少被使用,或者是根本没有实现,所有地址家族中,AF_INET是使用

          最广泛的一个,python支持很多种地址家族,但是由于我们只关心网络编程,所以大部分时候我么只使用AF_INET)

      

      套接字工作流程:

                        

       先从服务器端说起。服务器端先初始化Socket,然后与端口绑定(bind),对端口进行监听(listen),调用accept阻塞,等待客户端连接。在这时如果有个客户端初始化一个Socket,然后连接服务器(connect),如果连接成功,这时客户端与服务器端的连接就建立了。客户端发送数据请求,服务器端接收请求并处理请求,然后把回应数据发送给客户端,客户端读取数据,最后关闭连接,一次交互结束

     1 import socket
     2 socket.socket(socket_family,socket_type,protocal=0)
     3 socket_family 可以是 AF_UNIX 或 AF_INET。socket_type 可以是 SOCK_STREAM 或 SOCK_DGRAM。protocol 一般不填,默认值为 0。
     4 
     5 获取tcp/ip套接字
     6 tcpSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
     7 
     8 获取udp/ip套接字
     9 udpSock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
    10 
    11 由于 socket 模块中有太多的属性。我们在这里破例使用了'from module import *'语句。使用 'from socket import *',我们就把 socket 模块里的所有属性都带到我们的命名空间里了,这样能 大幅减短我们的代码。
    12 例如tcpSock = socket(AF_INET, SOCK_STREAM)
    socket函数用服务端套接字函数s.bind() 绑定(主机,端口号)到套接字s.listen() 开始TCP监s.accept() 被动接受TCP客户的连接,(阻塞式)等待连接的到来客户端套接字函数s.connect() 主动初始化TCP服务器连接s.connect_ex() connect()函数的扩展版本,出错时返回出错码,而不是抛出异常

    公共用途的套接字函数
    s.recv() 接收TCP数据
    s.send() 发送TCP数据(send在待发送数据量大于己端缓存区剩余空间时,数据丢失,不会发完)
    s.sendall() 发送完整的TCP数据(本质就是循环调用send,sendall在待发送数据量大于己端缓存区剩余空间时,数据不丢失,循环调用send直到发完)
    s.recvfrom() 接收UDP数据
    s.sendto() 发送UDP数据
    s.getpeername() 连接到当前套接字的远端的地址
    s.getsockname() 当前套接字的地址
    s.getsockopt() 返回指定套接字的参数
    s.setsockopt() 设置指定套接字的参数
    s.close() 关闭套接字

    面向锁的套接字方法
    s.setblocking() 设置套接字的阻塞与非阻塞模式
    s.settimeout() 设置阻塞套接字操作的超时时间
    s.gettimeout() 得到阻塞套接字操作的超时时间

    面向文件的套接字的函数
    s.fileno() 套接字的文件描述符
    s.makefile() 创建一个与该套接字相关的文件

      ps:
      1.由于tcp是面向流的协议,所以数据之前没有明显的边界 。如果客户端发包的内容为空,由于服务端的内存一直没有数据,造成了程序卡住.在windows系统中,如果收到
    空数据包会进行报错,所以需要异常处理,在linux中,客户端如果异常端口,服务端会一直接受空数据,发送空数据(由于没有接收方),造成死循环,服务端卡主,所以需要判断是否为空信息,为空则跳过本次通信过程。所以
    使用tcp进行传输时,需要对数据内容进行判断,进行发送空数据。
    import socket
    phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
    phone.bind(('127.0.0.1',8080))
    phone.listen(5)
    print('start')
    conn,addr=phone.accept()
    print(addr)
    print(conn)
    while True:
        data=conn.recv(1024)
        print(data)
        conn.send(data.upper())
    print('end')
    conn.close()
    phone.close()
    服务端
    import socket,time
    phone=socket.socket()
    phone.connect(('127.0.0.1',8080))
    while True:
        msg=input(">>;")
       # if not msg:continue
        phone.send(msg.encode('utf-8'))
        data=phone.recv(1024)
        print(data.decode('utf-8'))
    phone.close()
    客户端

    四.基于TCP的套接字

      1.基本流程

    server=socket.socket(socket.AF_INET,socket.SOCK_STREAM)  #创建socket对象,选择使用的地址族和协议类型
    server.bind(('127.0.0.1',8080))   #绑定唯一地址,元组的形式(Ip,端口)
    server.listen(5)  #监听数,当服务端已经和客户端进行通信时,最大保留其他客户端链接的数量
    conn,addr=server.accept()    #等待接受数据,接受内容为(链接对象,客户端地址+端口)
    conn.recv(1024)     #接受数据,每次最多接受的大小。(接受的大小为1024的倍数,最大为8192)
    conn.send(data)      #data需要伟bytes类型
    conn.close()          #关闭链接
    server.close()        #关闭服务器程序
    服务端基本流程
    client=socket.socket(socket.AF_INET,socket.SOCK_STREAM)  #创建socket对象,选择使用的地址族和协议类型
    client.connect(('127.0.0.1',8080))   #链接服务器地址,元组的形式(Ip,端口)
    client.recv(1024)     #接受数据,每次最多接受的大小。(接受的大小为1024的倍数,最大为8192)
    client.send(data)      #data需要伟bytes类型
    client.close()          #关闭链接
    客户端基本流程

       2.简单程序

    import socket
    phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
    phone.bind(('127.0.0.1',8080))
    phone.listen(5)
    conn,addr=phone.accept()
    data=conn.recv(1024)
    print(data.decode('utf8'))
    dat=input('>>:')
    conn.send(dat.encode('utf-8'))
    conn.close()
    phone.close()
    服务端
    import socket,time
    phone=socket.socket()
    phone.connect(('192.168.192.140',8080))
    
    msg=input(">>;")
    # if not msg:continue
    phone.send(msg.encode('utf-8'))
    data=phone.recv(1024)
    print(data.decode('utf-8'))
    phone.close()
    View Code

      这个是个简单的程序,服务端只能实现一次连接和通信。由于服务端需要实现持续的服务,所以服务端需要完成连接循环和通信循环,改善后的代码如下:

    import socket
    phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
    phone.bind(('127.0.0.1',8080))
    phone.listen(5)
    while True:
        conn,addr=phone.accept()
        while True:
            data=conn.recv(1024)
            print(data.decode('utf8'))
            dat=input('>>:')
            conn.send(dat.encode('utf-8'))
        conn.close()
    phone.close()
    服务端改进
    import socket,time
    phone=socket.socket()
    phone.connect(('192.168.192.140',8080))
    while True:
        msg=input(">>;")
       # if not msg:continue
        phone.send(msg.encode('utf-8'))
        data=phone.recv(1024)
        print(data.decode('utf-8'))
    phone.close()
    客户端改进

      3.解决server端端口重复问题;

              

      这个是由于你的服务端仍然存在四次挥手的time_wait状态在占用地址(如果不懂,请深入研究1.tcp三次握手,四次挥手 2.syn洪水攻击 3.服务器高并发情况下会有大量的time_wait状态的优化方法)

    解决方法:

    #加入一条socket配置,重用ip和端口
    
    server=socket(AF_INET,SOCK_STREAM)
    server.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #就是它,在bind前加
    server.bind(('127.0.0.1',8080))
    方法一
    发现系统存在大量TIME_WAIT状态的连接,通过调整linux内核参数解决,
    vi /etc/sysctl.conf
    
    编辑文件,加入以下内容:
    net.ipv4.tcp_syncookies = 1
    net.ipv4.tcp_tw_reuse = 1
    net.ipv4.tcp_tw_recycle = 1
    net.ipv4.tcp_fin_timeout = 30
     
    然后执行 /sbin/sysctl -p 让参数生效。
     
    net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击,默认为0,表示关闭;
    
    net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭;
    
    net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收,默认为0,表示关闭。
    
    net.ipv4.tcp_fin_timeout 修改系統默认的 TIMEOUT 时间
    方法二

    五.基于UDP的套接字

    1.UDP服务端基本流程

    ss = socket()   #创建一个服务器的套接字
    ss.bind()       #绑定服务器套接字
    inf_loop:       #服务器无限循环
        cs = ss.recvfrom()/ss.sendto() # 对话(接收与发送)
    ss.close()                         # 关闭服务器套接字

      UDP客户端基本流程

    cs = socket()   # 创建客户套接字
    comm_loop:      # 通讯循环
        cs.sendto()/cs.recvfrom()   # 对话(发送/接收)
    cs.close()                      # 关闭客户套接字

    2.UDP套接字简单示例

    import socket
    server=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
    server.bind(('127.0.0.1',8080))
    while True:
        recv_data,addr=server.recvfrom(1024)
        print(recv_data)
        server.sendto(recv_data.upper(),addr)
        print('end')
    udp服务端
    import socket
    client=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
    server_ip=('127.0.0.1',8080)
    while True:
        udpdata=input(">>:")
        client.sendto(udpdata.encode('utf8'),server_ip)
        recv_data,addr=client.recvfrom(1024)
        print(recv_data.decode('utf8'))
        print(addr)
    udp客户端

    3.由于UDP是无连接的,所以UDP可以同时多个客户端与服务端通信

    import socket
    
    ip_port=('127.0.0.1',8080)
    server=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
    server.bind(ip_port)
    while True:
        msg,addr=server.recvfrom(1024)
        print('收到来自[%s:%s]的一条信息:%s'%(addr[0],addr[1],msg))
        back_msg = input('回复消息: ').strip()
        server.sendto(back_msg.encode('utf-8'), addr)
    server
    import socket
    client=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
    role=input('输入用户名:')
    while True:
        udpdata=input(">>:")
        client.sendto(udpdata.encode('utf8'),('127.0.0.1',8080))
        print('%s:%s'%(role,udpdata))
        recv_data,addr=client.recvfrom(1024)
        print(recv_data.decode('utf8'))
        print(addr)
    client

    4.时间服务器

    from socket import *
    from time import strftime
    
    ip_port=('127.0.0.1',9000)
    bufsize=1024
    
    tcp_server=socket(AF_INET,SOCK_DGRAM)
    tcp_server.bind(ip_port)
    
    while True:
        msg,addr=tcp_server.recvfrom(bufsize)
        print('===>',msg)
        
        if not msg:
            time_fmt='%Y-%m-%d %X'
        else:
            time_fmt=msg.decode('utf-8')
        back_msg=strftime(time_fmt)
    
        tcp_server.sendto(back_msg.encode('utf-8'),addr)
    
    tcp_server.close()
    
    ntp服务端
    ntp服务端
    from socket import *
    ip_port=('127.0.0.1',9000)
    bufsize=1024
    
    tcp_client=socket(AF_INET,SOCK_DGRAM)
    
    
    
    while True:
        msg=input('请输入时间格式(例%Y %m %d)>>: ').strip()
        tcp_client.sendto(msg.encode('utf-8'),ip_port)
    
        data=tcp_client.recv(bufsize)
    
        print(data.decode('utf-8'))
    
    tcp_client.close()
    
    ntp客户端
    ntp客户端

    六:TCP和UDP的 比较

     机制的不同:

        tcp是基于数据流的,而udp是基于数据报的

    1. TCP(transport control protocol,传输控制协议)是面向连接的,面向流的,提供高可靠性服务。收发两端(客户端和服务器端)都要有一一成对的socket,因此,发送端为了将多个发往接收端的包,更有效的发到对方,使用了优化方法(Nagle算法),将多次间隔较小且数据量小的数据,合并成一个大的数据块,然后进行封包。这样,接收端,就难于分辨出来了,必须提供科学的拆包机制。 即面向流的通信是无消息保护边界的(造成粘包现象的根本原因)
    2. UDP(user datagram protocol,用户数据报协议)是无连接的,面向消息的,提供高效率服务。不会使用块的合并优化算法,, 由于UDP支持的是一对多的模式,所以接收端的skbuff(套接字缓冲区)采用了链式结构来记录每一个到达的UDP包,在每个UDP包中就有了消息头(消息来源地址,端口等信息),这样,对于接收端来说,就容易进行区分处理了。 即面向消息的通信是有消息保护边界的
    3. tcp是基于数据流的,于是收发的消息不能为空,这就需要在客户端和服务端都添加空消息的处理机制,防止程序卡住,而udp是基于数据报的,即便是你输入的是空内容(直接回车),那也不是空消息,udp协议会帮你封装上消息头.

    使用命令的区别:

      tcp:send(data) 发送数据,recv(size)接受数据

      udp:sendto(data,to_addri_p)发送数据,recv(size)接受数据

      命令的详细区别:

      send 和 sendto:

    1. send(bytes_data):发送数据流,数据流bytes_data若为空,自己这段的缓冲区也为空,操作系统不会控制tcp协议发空包 
    2. sendinto(bytes_data,ip_port):发送数据报,bytes_data为空,还有ip_port,所有即便是发送空的bytes_data,数据报其实也不是空的,自己这端的缓冲区收到内容,操作系统就会控制udp协议发包。

      recv和recvform:

      1.tcp协议:

      (1)如果收消息缓冲区里的数据为空,那么recv就会阻塞(阻塞很简单,就是一直在等着收)  

      (2)只不过tcp协议的客户端send一个空数据就是真的空数据,客户端即使有无穷个send空,也跟没有一个样。

      (3)tcp基于链接通信

    • 基于链接,则需要listen(backlog),指定半连接池的大小
    • 基于链接,必须先运行的服务端,然后客户端发起链接请求
    • 对于mac系统:如果一端断开了链接,那另外一端的链接也跟着完蛋recv将不会阻塞,收到的是空(解决方法是:服务端在收消息后加上if判断,空消息就break掉通信循环)
    • 对于windows/linux系统:如果一端断开了链接,那另外一端的链接也跟着完蛋recv将不会阻塞,收到的是空(解决方法是:服务端通信循环内加异常处理,捕捉到异常后就break掉通讯循环)

      2.udp协议

      (1)如果收消息缓冲区里的数据为“空”,recvfrom也会阻塞

      (2)只不过udp协议的客户端sendinto一个空数据并不是真的空数据(包含:空数据+地址信息,得到的报仍然不会为空),所以客户端只要有一个sendinto(不管是否发送空数据,都不是真的空数据),服务端就可以recvfrom到数据。

      (3)udp无链接

    • 无链接,因而无需listen(backlog),更加没有什么连接池之说了
    • 无链接,udp的sendinto不用管是否有一个正在运行的服务端,可以己端一个劲的发消息,只不过数据丢失
    • recvfrom收的数据小于sendinto发送的数据时,在mac和linux系统上数据直接丢失,在windows系统上发送的比接收的大直接报错
    • 只有sendinto发送数据没有recvfrom收数据,数据丢失

    注意:

      1.你单独运行上面的udp的客户端,你发现并不会报错,相反tcp却会报错,因为udp协议只负责把包发出去,对方收不收,我根本不管,而tcp是基于链接的,必须有一个服务端先运行着,客户端去跟服务端建立链接然后依托于链接才能传递消息,任何一方试图把链接摧毁都会导致对方程序的崩溃。

      2.上面的udp程序,你注释任何一条客户端的sendinto,服务端都会卡住,为什么?因为服务端有几个recvfrom就要对应几个sendto。

    七.粘包现象

      1.什么的粘包:

      粘包是指发送方发送的若干包数据到接收方接收时粘成一包,从接收缓冲区看,后一包数据的头紧接着前一包数据的尾。

      2.粘包的原因:

      tcp是面向流的传输协议,数据流之间没有确切的边界。(不知道数据有多长,需要收到哪为止。服务端在收数据的时候,没有数据的 描述信息。)所以只有TCP有粘包现象,UDP永远不会粘包。

      3.tcp和udp的特点

      udp的recvfrom是阻塞的,一个recvfrom(x)必须对一个一个sendinto(y),收完了x个字节的数据就算完成,若是y>x数据就丢失,这意味着udp根本不会粘包,但是会丢数据,不可靠

      tcp的协议数据不会丢,没有收完包,下次接收,会继续上次继续接收,己端总是在收到ack时才会清除缓冲区内容。数据是可靠的,但是会粘包。

      4.socket发送数据的传输过程:

                      

      在socket数据进行传输时,应用程序会把数据存入缓存中,这时候数据的发送已经跟应用程序没有关系了,是由系统来进行控制发送的。这时候系统会根据程序所定义的传输数据的协议来进行数据发送。如果是udp协议,则会计算数据大小并打上数据头部,所以即使你发送的是空数据,由于有头部,所以服务端接受到的数据也不是为空。由于udp头部有数据的大小,有明显的数据边界,所以不会造成粘包现象。当使用TCP协议进行传输时,如果你每次发送给的数据都很小,那么TCP协议会将数次数据合并在一个数据包发送给服务端,造成了粘包现象(这只是一种情况)。

      在socket接受数据时,数据先到达缓存空间,在由socket应用程序从缓存空间中读取。

      补充:由于tcp发送数据后,需要接受到对端的确认包才会把数据从缓存中清除掉,所以tcp是可靠传输。而udp发送数据后直接将数据从缓存中删除,所以udp是不可靠传输协议。

      5.粘包现象发生的场景:

      1.发送端需要等缓冲区满才发送出去,造成粘包(发送数据时间间隔很短,数据了很小,会合到一起,产生粘包)

       2.接收方不及时接收缓冲区的包,造成多个包接收(客户端发送了一段数据,服务端只收了一小部分,服务端下次再收的时候还是从缓冲区拿上次遗留的数据,产生粘包) 

      

    八.解决粘包的办法

      问题的根源在于,接收端不知道发送端将要传送的字节流的长度,所以解决粘包的方法就是围绕,如何让发送端在发送数据前,把自己将要发送的字节流总大小让接收端知晓,然后接收端来一个死循环接收完所有数据。

      1.low版解决办法:

      先将数据的大小发送给服务端,服务端收到后给客户端发送一个确认的信息,客户端再将数据发送到服务端。代码如下 :

    import socket,subprocess
    ip_port=('127.0.0.1',8080)
    s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
    s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
    
    s.bind(ip_port)
    s.listen(5)
    
    while True:
        conn,addr=s.accept()
        print('客户端',addr)
        while True:
            msg=conn.recv(1024)
            if not msg:break
            res=subprocess.Popen(msg.decode('utf-8'),shell=True,
                                stdin=subprocess.PIPE,
                             stderr=subprocess.PIPE,
                             stdout=subprocess.PIPE)
            err=res.stderr.read()
            if err:
                ret=err
            else:
                ret=res.stdout.read()
            data_length=len(ret)
            conn.send(str(data_length).encode('utf-8'))
            data=conn.recv(1024).decode('utf-8')
            if data == 'recv_ready':
                conn.sendall(ret)
        conn.close()
    
    服务端
    服务端
    import socket,time
    s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
    res=s.connect_ex(('127.0.0.1',8080))
    
    while True:
        msg=input('>>: ').strip()
        if len(msg) == 0:continue
        if msg == 'quit':break
    
        s.send(msg.encode('utf-8'))
        length=int(s.recv(1024).decode('utf-8'))
        s.send('recv_ready'.encode('utf-8'))
        send_size=0
        recv_size=0
        data=b''
        while recv_size < length:
            data+=s.recv(1024)
            recv_size+=len(data)
    
    
        print(data.decode('utf-8'))
    
    客户端
    客户端

      为何low:

      程序的运行速度远快于网络传输速度,所以在发送一段字节前,先用send去发送该字节流长度,这种方式会放大网络延迟带来的性能损耗。

      2.使用struct模块来解决粘包

      该模块可以把一个类型,如数字,转成固定长度的bytes

      1.我们使用struct将数据长度使用struck封装完后发送给客户端,客户端再跟进长度来进行数据接受

    #! _*_ encoding:utf-8_*_
    import socket,subprocess,sys,struct
    serve=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
    serve.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)
    serve.bind(('192.168.192.140',8080))
    serve.listen(5)
    print('starting')
    while True:
        conn,addr=serve.accept()
        while True:
            try:
                cmd=conn.recv(1024)
                if "-" in cmd:
                    cmd=cmd.split()
                res=subprocess.Popen(cmd,shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
                err=res.stderr.read()
                out=res.stdout.read()
                data_len=len(out)+len(err)  #获取数据长度
                data_head=struct.pack('i',data_len)   #struct封装,i模式固定长度为4
                conn.send(data_head) 
                conn.send(err)
                conn.send(out)
            except:
                break
        conn.close()
    serve.close
    服务端
    import socket,struct
    client=socket.socket()
    client.connect(('192.168.192.140',8080))
    while True:
        cmd=input('>>;')
        if not cmd:continue
        client.send(cmd.encode('utf-8'))
        data_head=client.recv(4)
        data_len=struct.unpack('i',data_head)[0]  #接受数据长度
        rev_len=0
        date_contains=''
        while data_len>rev_len:   #接受数据,数据接受大小小于长度则继续接受
            res=client.recv(1024)
            rev_len+=len(res)
            date_contains=date_contains+res.decode('utf8')
        print(date_contains)
    client.close()
    View Code

      2.由于struct模式对于封装的数据有长度大小。当数据过大时则会进行报错。所以我们可以使用定义一个字典形式的头部,用json序列化后再有struct封装。

    #! _*_ encoding:utf-8_*_
    '''当文件太大,我们使用struct进行封装,会导致报错。而且这个头部只能传输一个文件大小。我们可以将头部定义为字典,再将字典使用json封装。将封装后的头部大小发送给
        客户端,客户端以此大小来接收头部,并将字典反序列化出来
    '''
    import socket,subprocess,sys,struct,json
    serve=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
    serve.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)
    serve.bind(('192.168.192.140',8080))
    serve.listen(5)
    print('starting')
    while True:
        conn,addr=serve.accept()
        while True:
            try:
                cmd=conn.recv(1024)
                if "-" in cmd:
                    cmd=cmd.split()
                res=subprocess.Popen(cmd,shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
                err=res.stderr.read()
                out=res.stdout.read()
                data_len=len(out)+len(err)
                data_dict={'data_len':data_len}
                data_json=json.dumps(data_dict)
                data_head=struct.pack('i',data_json)
                conn.send(data_head)
                conn.send(err)
                conn.send(out)
            except:
                break
        conn.close()
    serve.close
    服务端自制报头
    import socket,struct,json
    client=socket.socket()
    client.connect(('192.168.192.140',8080))
    while True:
        cmd=input('>>;')
        if not cmd:continue
        client.send(cmd.encode('utf-8'))
        data_head=client.recv(4)
        json_len=struct.unpack('i',data_head)[0]
        data_json=client.recv(json_len)
        data_dict=json.loads(data_json)
        data_len=data_dict['data_len']
        rev_len=0
        date_contains=''
        while data_len>rev_len:
            res=client.recv(1024)
            rev_len+=len(res)
            date_contains=date_contains+res.decode('utf8')
        print(date_contains)
    client.close()
    客户端自制报头

      我们可以把报头做成字典,字典里包含将要发送的真实数据的详细信息,然后json序列化,然后用struck将序列化后的数据长度打包成4个字节(4个自己足够用了)

      发送时:

        先发报头长度

        再编码报头内容然后发送

        最后发真实内容

      接收时:

        先手报头长度,用struct取出来

        根据取出的长度收取报头内容,然后解码,反序列化

        从反序列化的结果中取出待取数据的详细信息,然后去取真实的数据内容

       FTP程序

    import socket,json,struct,os
    
    class FtpServer:
        AF_faminly=socket.AF_INET
        sock_type=socket.SOCK_STREAM
        max_wait_num=5
        allowe_reuse_porte=False
        dir_name='file_upload1'
        max_size=8192
        coding='utf-8'
        def __init__(self,addr,active=True):
            self.socket=socket.socket(FtpServer.AF_faminly,FtpServer.sock_type)
            self.addr=addr
            if active:
                try:
                    self.server_bind()
                    self.server_listen()
                except:
                    self.server_close()
                    raise
        def server_bind(self):
            if FtpServer.allowe_reuse_porte:
                self.socket.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)
            self.socket.bind(self.addr)
    
        def server_listen(self):
            self.socket.listen(FtpServer.max_wait_num)
    
        def server_close(self):
            self.socket.close()
        def get_requet(self):
            return self.socket.accept()
        def close_request(self):
            self.socket.close()
        def run(self) -> object:
            print('running')
            self.conn,self.client_ip=self.get_requet()
            head_pack=self.conn.recv(4)
            head_len=struct.unpack('i',head_pack)[0]
            head_json=self.conn.recv(head_len)
            head_dict=json.loads(head_json)
            cmd=head_dict['cmd']
            if hasattr(self,cmd):
                func=getattr(self,cmd)
                func(head_dict)
    
        def put(self,head):
            base_file = os.path.abspath(FtpServer.dir_name)
            self.file_name = os.path.join(base_file, head['filename'])
            print(self.file_name)
            print(type(self.file_name))
            with open(self.file_name, 'wb') as f:
                reve_len = 0
                while reve_len < head['filesize']:
                    data = self.conn.recv(FtpServer.max_size)
                    f.write(data)
                    reve_len += len(data)
                    print('reveing:%s' % reve_len)
                print('end')
    
    
    s=FtpServer(('127.0.0.1',8080))
    s.run()
    ftp服务端
    import socket,json,struct,os
    class FtpClient:
        AF_faminly=socket.AF_INET
        sock_type=socket.SOCK_STREAM
        coding='utf-8'
        def __init__(self,server_addr,connect=True):
            self.socket=socket.socket(FtpClient.AF_faminly,
                                      FtpClient.sock_type,)
            self.addr=server_addr
            if connect:
                try:
                    self.conn()
                except:
                    self.close_conn()
                    raise
    
        def conn(self):
            self.socket.connect(self.addr)
        def close_conn(self):
            self.socket.close()
    
        def run(self) -> object:
            while True:
                inp=input('>>:').strip()
                if not inp:continue
                l=inp.split()
                cmd=l[0]
                if hasattr(self, cmd):
                    func = getattr(self, cmd)
                    func(l)
    
        def put(self,l):
            cmd=l[0]
            filepath = os.path.normpath(l[1])
            if not os.path.isfile(filepath):
                print('你要上传的文件不存在')
                return
            else:
                filesize = os.path.getsize(filepath)
                filename = os.path.basename(filepath)
            head_dict = {'cmd': cmd, 'filesize': filesize, 'filename': filename}
            head_json = json.dumps(head_dict)
            json_len = len(head_json)
            json_pack = struct.pack('i', json_len)
            self.socket.send(json_pack)
            self.socket.send(head_json.encode(FtpClient.coding))
            send_rize=0
            with open(filepath, 'rb') as f:
                for line in f:
                    self.socket.send(line)
                    send_rize+=len(line)
                    print(send_rize)
                else:
                    print('success')
            self.close_conn()
    client=FtpClient(('127.0.0.1',8080))
    client.run()
    ftp客户端

    九.SOCKETSERVER

      

    基于tcp的套接字,关键就是两个循环,一个链接循环,一个通信循环

    socketserver模块中分两大类:server类(解决链接问题)和request类(解决通信问题)

    server类:

    request类:

    继承关系:

     

    以下述代码为例,分析socketserver源码:

    ftpserver=socketserver.ThreadingTCPServer(('127.0.0.1',8080),FtpServer)
    ftpserver.serve_forever()

    查找属性的顺序:ThreadingTCPServer->ThreadingMixIn->TCPServer->BaseServer

    1. 实例化得到ftpserver,先找类ThreadingTCPServer的__init__,在TCPServer中找到,进而执行server_bind,server_active
    2. 找ftpserver下的serve_forever,在BaseServer中找到,进而执行self._handle_request_noblock(),该方法同样是在BaseServer中
    3. 执行self._handle_request_noblock()进而执行request, client_address = self.get_request()(就是TCPServer中的self.socket.accept()),然后执行self.process_request(request, client_address)
    4. 在ThreadingMixIn中找到process_request,开启多线程应对并发,进而执行process_request_thread,执行self.finish_request(request, client_address)
    5. 上述四部分完成了链接循环,本部分开始进入处理通讯部分,在BaseServer中找到finish_request,触发我们自己定义的类的实例化,去找__init__方法,而我们自己定义的类没有该方法,则去它的父类也就是BaseRequestHandler中找....

    源码分析总结:

    基于tcp的socketserver我们自己定义的类中的

    1. self.server即套接字对象
    2. self.request即一个链接
    3. self.client_address即客户端地址

    基于udp的socketserver我们自己定义的类中的

    1. self.request是一个元组(第一个元素是客户端发来的数据,第二部分是服务端的udp套接字对象),如(b'adsf', <socket.socket fd=200, family=AddressFamily.AF_INET, type=SocketKind.SOCK_DGRAM, proto=0, laddr=('127.0.0.1', 8080)>)
    2. self.client_address即客户端地址
  • 相关阅读:
    C++使用GDI+实现图片格式转换
    易语言调用C++写的DLL
    【PE】手动给PE文件添加一段代码MessageBoxA
    SHGetSpecialFolderLocation获取开始文件夹
    MySQL导入导出数据
    MySQL5.7修改密码
    Elasticsearch 基于external的乐观锁的版本控制
    Elasticsearch修改字段类型 (_reindex)
    es 迁移数据, 重建索引
    SHELL
  • 原文地址:https://www.cnblogs.com/white-small/p/7206464.html
Copyright © 2011-2022 走看看