python之socket编程（一）

socket之前我们先来熟悉回忆几个知识点。

OSI七层模型

OSI（Open System Interconnection）参考模型是国际标准化组织（ISO）制定的一个用于计算机或通信系统间互联的标准体系，一般称为OSI参考模型或七层模型。它是一个七层的、抽象的模型，不仅包括一系列抽象的术语或概念，也包括具体的协议。（from百度）

TCP/IP四层参考模型

由于OSI七层较为庞大，所以由技术人员自己开发的TCP/IP协议栈获得了更为广泛的应用。
以下图片TCP/IP四层与OSI七层的区别，是百度上找的图片，大家迁就看：

他们的对应网络协议如下：

今天我们说的socket就在传输层。

TCP/IP三次握手建立连接

TCP/IP四次挥手关闭连接

接着我们来看下在TCP/IP四层中数据之间的一些关系吧：

TCP/IP解释

Transmission Control Protocol/Internet Protocol的简写，中译名为传输控制协议/因特网互联协议，又名网络通讯协议，定义了电子设备如何连入因特网，以及数据如何在它们之间传输的标准。

python中socket编程

上面一balabala一堆废话，无非想引出来socket这个东西，那么这个socket是个什么鬼呢？socket是TCP/IP中传输层中TCP、UDP的实现方式，用socket编程，可以实现TCP UDP的通信。有一个比较好的比喻方式：socket就是一条管子，连接两段，而TCP、UDP就是管子中的东西。

socket解释

socekt又称为‘套接字’，用于描述IP和地址端口，是一个通信链路的句柄，应用程序通常通过套接字向网络发出请求或者应答网络请求。

socket起源于Unix，所以也遵从“一切皆文件”的基本哲学，对于文件，进行打开/读取/关闭的操作模式。socket就是该模式的一个实现，socket即是一种特殊的文件，一些socket函数就是对其进行的操作（读/写IO、打开、关闭）。

socket和file文件的区别：

• file模块是针对指定文件进行打开、读写、关闭操作。
• socket模块是针对服务器和客户端socket进行打开、读写、关闭操作。

来看个socket的传递模式吧：

我们来看一个简单的socket通信程序：

server端:

import socket

ip_port=('127.0.0.1',9008)	

s=socket.socket()	#创建对象

s.bind(ip_port)		#bind一个IP地址和短裤哦

s.listen(2)			#开始监听

while True:
    print('server waiting...')
    conn,addr=s.accept()		#接受连接并返回(conn,addr),其中conn是新的套接字对象,用来接受也发送数据,addr是连接客户端的地址,此时是阻塞状态

    client_data=conn.recv(1024)	#接受套接字的数据,1024是最多可以接受的数量
    print(client_data.decode().upper())		#bytes格式可以使用decode()解码

    conn.sendall(bytes('fuck XXXXX',encoding='utf8'))		#发送数据,注意python3中发送必须是bytes格式的

    conn.close()	 #关闭套接字

client端就比较简单了:

import socket
ip_port=('127.0.0.1',9008)

sk=socket.socket()	#创建套接字对象
sk.connect(ip_port)	 #客户端直接连接IP和端口
sk.sendall(bytes('hello,world!!!',encoding='utf8'))		#发送数据,必须转换为字节再发送
rep=sk.recv(1024)	#阻塞状态,接受数据,大小为1024
print(rep.decode().upper())	#打印,并解码,将结果大写
sk.close()	#关闭套接字

可以看出来,客户端只需创建类,连接,直接发送接收即可;而服务端需要创建对象,绑定IP端口,监听,开始接受并返回,并且接受到的内容为(新的套接字对象,客户端地址),进行数据交换的是新的套接字对象,并不是刚开始创建的套接字对象,切记,切记!!!!

socket模块功能介绍

sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM,0)

socket.AF_INET:地址簇

socket.AF_INET IPv4（默认）

socket.AF_INET6 IPv6

socket.AF_UNIX 只能够用于单一的Unix系统进程间通信

socket.SOCK_STREAM:类型

socket.SOCK_STREAM　　流式socket , for TCP （默认）

socket.SOCK_DGRAM　　 数据报式socket , for UDP

socket.SOCK_RAW 原始套接字，普通的套接字无法处理ICMP、IGMP等网络报文，而SOCK_RAW可以；其次，SOCK_RAW也可以处理特殊的IPv4报文；此外，利用原始套接字，可以通过IP_HDRINCL套接字选项由用户构造IP头。

socket.SOCK_RDM 是一种可靠的UDP形式，即保证交付数据报但不保证顺序。SOCK_RAM用来提供对原始协议的低级访问，在需要执行某些特殊操作时使用，如发送ICMP报文。SOCK_RAM通常仅限于高级用户或管理员运行的程序使用。

socket.SOCK_SEQPACKET 可靠的连续数据包服务

0:协议

0　　（默认）与特定的地址家族相关的协议,如果是 0 ，则系统就会根据地址格式和套接类别,自动选择一个合适的协议

s.bind(address)

将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下，以元组（host,port）的形式表示地址。

s.listen(backlog)

开始监听传入连接.

backlog指定在拒绝连接之前,可以挂起的最大连接数量,但这个值不能无限大,因为要在内核中维护连接队列.

backlog等于5，表示内核已经接到了连接请求，但服务器还没有调用accept进行处理的连接个数最大为5,如果backlog值为5,表示能代表能连接一个，挂起一个，第三个连接时直接拒绝连接.

sk.setblocking(bool)

是否阻塞（默认True），如果设置False，那么accept和recv时一旦无数据，则报错。

sk.accept()

接受连接并返回（conn,address）,其中conn是新的套接字对象，可以用来接收和发送数据。address是连接客户端的地址。

需要注意的是:接收TCP 客户的连接（阻塞式）等待连接的到来,accept为阻塞式

sk.connect(adress)

连接到目标地址adress的套接字,参数adress的格式为元组格式:(IP,port),如果连接错误,返回socket.error错误.

sk.connect_ex(address)

同上，只不过会有返回值，连接成功时返回 0 ，连接失败时候返回编码，例如：10061

sk.close()

关闭套接字.

sk.recv(bufsize[,flag])

这个比较重要了,接受套接字的数据。数据以字符串形式返回，bufsize指定最多可以接收的数量。flag提供有关消息的其他信息，通常可以忽略。他同accept()一样,都是阻塞式.

sk.recvfrom(bufsize[.flag])

与recv()类似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。

sk.send(string[,flag])

将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。send不一定全部发送，send会有一个返回值，返回值是发送了多少个字节

sk.sendall(string[,flag])

将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。内部会调用send,有while循环,一直发送,直到字符串全部发送完毕

内部通过递归调用send，将所有内容发送出去。

sk.sendto(string[,flag],address)

将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。

sk.settimeout(timeout)

设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如 client 连接最多等待5s ）

sk.getpeername()

返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。

sk.getsockname()

返回套接字自己的地址。通常是一个元组(ipaddr,port)

sk.fileno()

套接字的文件描述符

socket中udp小demo

server端:

import socket
ip_port = ('127.0.0.1',9999)
sk = socket.socket(socket.AF_INET,socket.SOCK_DGRAM,0)
sk.bind(ip_port)

while True:
    data = sk.recv(1024)
    print(data.decode())

client端:

import socket
ip_port = ('127.0.0.1',9999)

sk = socket.socket(socket.AF_INET,socket.SOCK_DGRAM,0)
while True:
    inp = input('数据：').strip()
    if inp == 'exit':
        break
    sk.sendto(bytes(inp,encoding='utf8'),ip_port)

sk.close()

socket粘包问题

sk.recv(1024)中,bufsize值为1024,最多只能接受1024个字节,那么如果client端发送的数据包特别大时,超过了指定的bufsize的值,超过的不分会留在内核缓冲区中，下次调用recv的时候会继续读剩余的字节。这就是所谓的粘包问题,那么怎么解决呢?

类似于http协议,我们可以:

1. 在发送之前先告诉接受数据端我要发送数据的字节大小
2. 接收数据端收到数据后回复给数据发送端一个确认消息
3. 数据发送端收到确认信息后,发送数据
4. 数据接收端循环接受数据,直到数据接受完成,收到完整数据包

我们可以来看个例子,模拟一个shell连接的方式:

client端:

import socket
ip_port=('127.0.0.1',9999)

s=socket.socket()

s.connect(ip_port)

while True:
    send_data=input('>>:').strip()


    if send_data=='exit':break
    if len(send_data)==0:continue
    s.send(bytes(send_data,encoding='utf8'))

    ready_tag=s.recv(1024)
    ready_tag=str(ready_tag,encoding='utf8')
    if ready_tag.startswith('Ready'):
        msg_size=int(ready_tag.split('|')[-1])
        print(msg_size)
    start_tag='Start'
    s.send(bytes(start_tag,encoding='utf8'))

    recv_size=0
    recv_msg=b''

    while recv_size < msg_size:
        recv_data=s.recv(1024)
        recv_msg+=recv_data
        recv_size+=len(recv_data)

    print(str(recv_msg,encoding='utf8'))


s.close()

server端:

import socket,subprocess
ip_port=('127.0.0.1',9999)

s=socket.socket()

s.bind(ip_port)

s.listen(5)


while True:
    conn,addr=s.accept()
    while True:
        try:
            recv_data=conn.recv(1024)
            if recv_data==0:break
            p=subprocess.Popen(str(recv_data,encoding='utf8'),shell=True,stdout=subprocess.PIPE)
            res=p.stdout.read()
            if len(res)==0:
                send_data='cmd ERROR'
                send_data=bytes(send_data,encoding='utf8')
            else:
                send_data=res
            ready_tag='Ready|%s'%len(send_data)
            conn.send(bytes(ready_tag,encoding='utf8'))

            feedback=conn.recv(1024)
            feedback=str(feedback,encoding='utf8')

            if feedback.startswith('Start'):
                conn.send(send_data)

        except Exception as ex:
            break

    conn.close()

多线程的socket--socketserver模块

上面的例子中,我们会发现server端和client端是一对一的,正常我们访问网站,使用FTP,SHELL等等都是可以多人共用的啊,所以我们需要一个服务,socketserver,每个客户端请求连接到服务器时，Socket服务端都会在服务器是创建一个“线程”或者“进程” 专门负责处理当前客户端的所有请求。

ThreadingTCPServer

ThreadingTCPServer实现的Soket服务器内部会为每个client创建一个 “线程”，该线程用来和客户端进行交互。我们先来看个例子:

server端:

import socketserver,subprocess

class Myserver(socketserver.BaseRequestHandler):
    def handle(self):
        self.request.sendall(bytes('欢迎拨打10086',encoding='utf8'))
        while True:
            data=self.request.recv(1024)
            print("[%s] says : %s"%(self.client_address,data.decode()))
            # self.request.sendall(data.upper())
            cmd=subprocess.Popen(data.decode(),shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
            cmd_res=cmd.stdout.read()
            if not cmd_res:cmd_res=cmd.stderr.read()
            if len(cmd_res)==0:cmd_res=bytes('has no output!',encoding='utf8')
            self.request.sendall(cmd_res)
            # if len(data) == 0:
            #     break

if __name__ == '__main__':
    server=socketserver.ThreadingTCPServer(('127.0.0.1',8008),Myserver)
    server.serve_forever()

client端:

import socket
ip_port=('127.0.0.1',8008)

s=socket.socket()

s.connect(ip_port)
welcome_msg=s.recv(1024)
print('from server:',welcome_msg.decode())

while True:
    send_data=input('>>:').strip()

    s.send(bytes(send_data,encoding='utf8'))
    if send_data=='exit':break
    if len(send_data)==0:continue

    recv_data=s.recv(1024)

    print(str(recv_data,encoding='utf8'))

s.close()

仔细来看下server端的code:

1. 创建一个派生类,其基类为socketserver.BaseRequestHandler
2. 类中必须定义一个名称为 handle 的方法
3. 启动ThreadingTCPServer时,先需要创建一个ThreadingTCPServer的实例,需要两个参数,①元组数据(IP,port),②创建的派生类
4. 启动为调用ThreadingTCPServer类中的serve_forever方法,永久启动

为什么必须定义一个handle的方法呢?

先看看他的父类BaseRequestHandler源码:

class BaseRequestHandler:

    """Base class for request handler classes.

    This class is instantiated for each request to be handled.  The
    constructor sets the instance variables request, client_address
    and server, and then calls the handle() method.  To implement a
    specific service, all you need to do is to derive a class which
    defines a handle() method.

    The handle() method can find the request as self.request, the
    client address as self.client_address, and the server (in case it
    needs access to per-server information) as self.server.  Since a
    separate instance is created for each request, the handle() method
    can define arbitrary other instance variariables.

    """

    def __init__(self, request, client_address, server):
        self.request = request
        self.client_address = client_address
        self.server = server
        self.setup()
        try:
            self.handle()
        finally:
            self.finish()

    def setup(self):
        pass

    def handle(self):
        pass

    def finish(self):
        pass
        

ThreadingTCPServer源码剖析

类的基类关系图如下:

待续未完!下周更新!