Socket网络编程

一、网络通信三要素

A:IP地址   (1) 用来标识网络上一台独立的主机

                 (2) IP地址 = 网络地址 + 主机地址（网络号：用于识别主机所在的网络/网段。主机号：用于识别该网络中的主机）

                 (3) 特殊的IP地址：127.0.0.1（本地回环地址、保留地址，点分十进制）可用于简单的测试网卡是否故障。表示本机。

B:端口号:  (1) 用于标识进程的逻辑地址。不同的进程都有不同的端口标识。

                 (2) 端口：要将数据发送到对方指定的应用程序上，为了标识这些应用程序，所以给这些网络应用程序都用数字进行标识。为了方便称呼这些数字，则将这些数字称为端口。（此端口是一个逻辑端口）

C: 传输协议：通讯的规则。例如：TCP、UDP协议。

①、UDP：User Datagram Protocol用户数据报协议

特点：

• 面向无连接：传输数据之前源端和目的端不需要建立连接。
• 每个数据报的大小都限制在64K（8个字节）以内。
• 面向报文的不可靠协议。（即：发送出去的数据不一定会接收得到）
• 传输速率快，效率高。
• 现实生活实例：邮局寄件、实时在线聊天、视频会议…等。

 ②、TCP：Transmission Control Protocol传输控制协议

 特点：

• 面向连接：传输数据之前需要建立连接。
• 在连接过程中进行大量数据传输。
• 通过“三次握手”的方式完成连接，是安全可靠协议。
• 传输速度慢，效率低。

注意：在TCP/IP协议中，TCP协议通过三次握手建立一个可靠的连接

网络通讯步骤：

　　确定对端IP地址→ 确定应用程序端口 → 确定通讯协议

二、Socket编程

2.1 我们可以利用ip地址＋协议＋端口号唯一标示网络中的一个进程。能够唯一标示网络中的进程后，它们就可以利用socket进行通信了，我们经常把socket翻译为套接字，socket是在应用层和传输层(TCP/IP协议族通信)之间的一个抽象层，是一组接口，它把TCP/IP层复杂的操作抽象为几个简单的接口供应用层调用已实现进程在网络中通信。

　　应用程序两端通过“套接字”向网络发出请求或者应答网络请求。可以把socket理解为通信的把手（hand）

2.2 socket通信流程：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2.3 相关方法及参数介绍

sk.bind(address)

　　#sk.bind(address) 将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下，以元组（host,port）的形式表示地址。

sk.listen(backlog)

　　#开始监听传入连接。backlog指定在拒绝连接之前，可以挂起的最大连接数量。

sk.setblocking(bool)

　　#是否阻塞（默认True），如果设置False，那么accept和recv时一旦无数据，则报错。

sk.accept()

　　#接受连接并返回（conn,address）,其中conn是新的套接字对象，可以用来接收和发送数据。address是连接客户端的地址。

　　#接收TCP 客户的连接（阻塞式）等待连接的到来

sk.connect(address)

　　#连接到address处的套接字。一般，address的格式为元组（hostname,port）,如果连接出错，返回socket.error错误。

sk.connect_ex(address)

　　#同上，只不过会有返回值，连接成功时返回 0 ，连接失败时候返回编码，例如：10061

sk.close()

　　#关闭套接字

sk.recv(bufsize[,flag])

　　#接受套接字的数据。数据以字符串形式返回，bufsize指定最多可以接收的数量。flag提供有关消息的其他信息，通常可以忽略。

sk.recvfrom(bufsize[.flag])

　　#与recv()类似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。

sk.send(string[,flag])

　　#将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。即：可能未将指定内容全部发送。

sk.sendall(string[,flag])

　　#将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。

      #内部通过递归调用send，将所有内容发送出去。

sk.sendto(string[,flag],address)

　　#将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。

sk.settimeout(timeout)

　　#设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如 client 连接最多等待5s ）

sk.getpeername()

　　#返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。

sk.getsockname()

　　#返回套接字自己的地址。通常是一个元组(ipaddr,port)

sk.fileno()

　　#套接字的文件描述符

 2.4 server下的方法：　　　　　　　　client下的方法：

　　　　bind()　　　　　　　　　　　　　　connect()

　　　　listen()　　　　　　　　　　　　　  recv()

　　　　accept()　　　　　　　　　　　　   send()

　　　　recv()　　　　　　　　　　　　　　sendall()

　　　　send()

　　　　sendall()

　　注：a. recv()理论数据不超过8k，一般用1024。

　　　　b. recv()和send()中的参数类型是bytes类型。一般通过utf8编码格式转换，如果传输的数据中含有汉字，则需要通过gbk转换。

 　　　  例：sk.send(bytes(inp,'utf8'))　　print(str(conn.recv(1024),'utf8'))

2.5 将客户端强制关闭时，若服务端报错，进行try,except处理。

try:
    data = conn.recv(1024)
except Exception:
    break

2.6 远程执行命令

执行命令的一端通过引入subprocess模块实现。

import subprocess
obj = subprocess.Popen(str(data),shell=True,stdout=subprocess.PIPE)
result = obj.stdout.read()
print(str(result,'gbk'))

2.7 粘包现象：连续两个sendall时可能会产生此现象。

　　解决方法：用一个 conn.recv(1024) 将两条sendall语句隔断开。

2.8 文件上传

server：

import socket,os

ip_port = ('127.0.0.1',8099)
sk = socket.socket()
sk.bind(ip_port)
sk.listen(3)
BASE_DIR = os.path.dirname(os.path.abspath(__file__))
while True:
    print('waiting conect')
    conn,addr = sk.accept()
    flag = True
    while flag:
        client_bytes = conn.recv(1024)
        client_str = str(client_bytes,'gbk')
        func,file_byte_size,filename = client_str.split('|',2)
        path = os.path.join(BASE_DIR,'aaa',filename)
        has_received = 0
        file_byte_size = int(file_byte_size)
        f = open(path,'wb')
        while has_received<file_byte_size:
            data = conn.recv(1024)
            f.write(data)
            has_received+=len(data)
        print('ending')
        f.close()

client:

import socket,re,os,sys
ip_port = ('127.0.0.1',8099)
sk = socket.socket()
sk.connect(ip_port)
BASE_DIR = os.path.dirname(os.path.abspath(__file__))
print('客户端启动')
while True:
    inp = input('Please input:')
    if inp.startswith('post'):
        method,local_path = inp.split('|',1)
        local_path = os.path.join(BASE_DIR,local_path)
        file_byte_size = os.stat(local_path).st_size
        file_name = os.path.basename(local_path)
        post_info = 'post|%s|%s'%(file_byte_size,file_name)
        sk.sendall(bytes(post_info,'gbk'))
        has_sent = 0
        file_obj = open(local_path,'rb')
        while has_sent<file_byte_size:
            data = file_obj.read(1024)
            sk.sendall(data)
            has_sent += len(data)
        file_obj.close()
        print('上传成功')

2.9 server端并发聊天

server：

import socketserver
class MyServer(socketserver.BaseRequestHandler):
    def handle(self):
        print('服务端启动。。。')
        while True:
            conn = self.request
            print(self.client_address)
            while True:
                client_data = conn.recv(1024)
                print(str(client_data,'utf8'))
                print('waiting...')
                conn.sendall(client_data)
            conn.close()
if __name__ == '__main__':
    # 创建socket连接
    server = socketserver.ThreadingTCPServer(('127.0.0.1',8091),MyServer)
    server.serve_forever()

client：

import socket
ip_port = ('127.0.0.1',8091)
sk = socket.socket()
sk.connect(ip_port)
print('客户端启动')
while True:
    inp = input('>>>')
    sk.sendall(bytes(inp,'utf8'))
    if inp == 'exit':
        break
    server_response = sk.recv(1024)
    print(str(server_response,'utf8'))
sk.close()

2.10 socketserver

SocketServer模块简化了编写网络服务程序的任务。同时SocketServer模块也是Python标准库中很多服务器框架的基础。

socketserver模块可以简化网络服务器的编写，Python把网络服务抽象成两个主要的类，一个是Server类，用于处理连接相关的网络操作，另外一个则是RequestHandler类，用于处理数据相关的操作。并且提供两个MixIn 类，用于扩展 Server，实现多进程或多线程。

There are five classes in an inheritance diagram, four of which represent synchronous servers of four types: