网络编程-socket

本节内容：

一：TCP/IP:Transmission Control Protocol/Internet Protocol 传输控制协议/因特网互联协议。即通讯协议。
是主机接入互联网以及互联网中两台主机通讯的标准。即通讯标准，这个标准即协议。
二：OSI七层介绍:

 1：物理层是由电缆、双绞线等组成，通过发送电信号来表示传输的数据，比如说：强电信号表示1，低电信号表示0，也就是说在传输过程中A主机通过物理层给B主机传输一系列类似：0110100

2：链路层遵循以太网协议，把从网络层的数据包分割成可被物理层传输的帧，帧由报头、数据组成，数据由源地址、目标地址以及数据类型。数据部分最多为1500字节。通过mac地址在子网内广播找到具体的主机。

3：网络层：通过IP协议以及路由设备扩网找目标主机所处的网络。

4：传输层通过TCP UDP协议以及端口来唯一标识应用程序。

应用层、表示层、会话层统称为应用层。

比如一个走http协议的软件：应用层—>http数据包—>传输层—>tcp报头+http数据包—>网络层—>IP报头+tcp报头+http数据包—>链路层—Ethernet报头+IP报头+tcp报头+http数据包到达B主机在从物理层到应用层

层层解包。

5：常用软件的结构：

C/S即clent和server。

三：socket介绍

正因为recv()和accept()阻塞的作用，才使我们写程序的可以按照客户端发送 服务端等待接收。

socket不负责传输，负责输出是他封装的tcp/ip协议进行数据的传输。

 

1：服务端：首先通过socket模块的socket()绑定TCP、UDP协议，通过他进行传输。bind()绑定本机的端口和IP，该函数使用需要传入一个IP和PORT的元组。listen()函数表示可等待连接的数目。

accept()阻塞，等待客户端连接。

2：客户端,需要建立一个socket()对象，通过socket对象跟服务器端进行通讯。connect()是连接服务端，建立连接，参数为 服务端IP和服务端的端口。通过connect()跟服务端连接。

在socket编程中需要使用：

 sk.send(string[,flag])

    将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。即：可能未将指定内容全部发送。

 sk.sendall(string[,flag])

   将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。

 内部通过递归调用send，将所有内容发送出去。

需要使用sendall而不是send函数。

常用函数介绍：

sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM,0)，这种写法是在2.7之前，现在默认socket.socket()默认绑定是tcp协议族。

参数一：地址簇

　　socket.AF_INET IPv4（默认）
　　socket.AF_INET6 IPv6

　　socket.AF_UNIX 只能够用于单一的Unix系统进程间通信

参数二：类型

　　socket.SOCK_STREAM　　流式socket , for TCP （默认）
　　socket.SOCK_DGRAM　　 数据报式socket , for UDP

　　socket.SOCK_RAW 原始套接字，普通的套接字无法处理ICMP、IGMP等网络报文，而SOCK_RAW可以；其次，SOCK_RAW也可以处理特殊的IPv4报文；此外，利用原始套接字，可以通过IP_HDRINCL套接字选项由用户构造IP头。
　　socket.SOCK_RDM 是一种可靠的UDP形式，即保证交付数据报但不保证顺序。SOCK_RAM用来提供对原始协议的低级访问，在需要执行某些特殊操作时使用，如发送ICMP报文。SOCK_RAM通常仅限于高级用户或管理员运行的程序使用。
　　socket.SOCK_SEQPACKET 可靠的连续数据包服务

参数三：协议

　　0　　（默认）与特定的地址家族相关的协议,如果是 0 ，则系统就会根据地址格式和套接类别,自动选择一个合适的协议

UDP Demo
sk.bind(address)

　　s.bind(address) 将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下，以元组（host,port）的形式表示地址。

sk.listen(backlog)

　　开始监听传入连接。backlog指定在拒绝连接之前，可以挂起的最大连接数量。

backlog等于5，表示内核已经接到了连接请求，但服务器还没有调用accept进行处理的连接个数最大为5
这个值不能无限大，因为要在内核中维护连接队列

sk.setblocking(bool)

　　是否阻塞（默认True），如果设置False，那么accept和recv时一旦无数据，则报错。

sk.accept()

　　接受连接并返回（conn,address）,其中conn是新的套接字对象，可以用来接收和发送数据。address是连接客户端的地址。

　　接收TCP 客户的连接（阻塞式）等待连接的到来

sk.connect(address)

　　连接到address处的套接字。一般，address的格式为元组（hostname,port）,如果连接出错，返回socket.error错误。

sk.connect_ex(address)

　　同上，只不过会有返回值，连接成功时返回 0 ，连接失败时候返回编码，例如：10061

sk.close()

　　关闭套接字

sk.recv(bufsize[,flag])

　　接受套接字的数据。数据以字符串形式返回，bufsize指定最多可以接收的数量。flag提供有关消息的其他信息，通常可以忽略。

sk.recvfrom(bufsize[.flag])

　　与recv()类似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。

sk.send(string[,flag])

　　将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。即：可能未将指定内容全部发送。

sk.sendall(string[,flag])

　　将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。

内部通过递归调用send，将所有内容发送出去。

sk.sendto(string[,flag],address)

　　将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。

sk.settimeout(timeout)

　　设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如 client 连接最多等待5s ）

sk.getpeername()

　　返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。

sk.getsockname()

　　返回套接字自己的地址。通常是一个元组(ipaddr,port)

sk.fileno()

b:简单的交互：

客户端：

import  socket
S=socket.socket()#创建一个socket对象，在python3中默认绑定TCP协议。
BUF_SIZ=1024#接收数据的大小，单位字节。
IP_PORT=('127.0.0.01',4567)#服务端IP和端口。
S.connect(IP_PORT)#建立连接。
S.send(bytes('ok',encoding='utf=-8'))#发送数据，注意在python3中传输的只能是字节2.7以前可以传输字符串。
REV_DATA=S.recv(BUF_SIZ).decode()#接收数据，
print(REV_DATA)#输出数据。
S.close()#关闭连接。

 服务端：

import socket
S=socket.socket()#创建一个socket()对象，默认绑定是tcp协议。
IP_PORT=('0.0.0.0',4567)#监听端口
S.bind(IP_PORT)#绑定端口。
S.listen(4)#可排队连接数目。
conn,addres=S.accept()#接收客户端socket对象，并通过conn跟客户端建立连接并进行通信。addres远程客户端的IP地址以及端口号。
REV_DATA=conn.recv(1024).decode()#接收数据。
print(REV_DATA)#输出数据。
conn.send(bytes('OK',encoding='utf-8'))#发送数据。 

 c： 服务端持续接收连接。

import socket
S=socket.socket()
IP_PORT=('0.0.0.0',4567)
S.bind(IP_PORT)
S.listen(4)
while True:
    conn,addres=S.accept()
    while True:
        REV_DATA=conn.recv(1024).decode()
        print(REV_DATA)
        conn.send(bytes(REV_DATA,encoding='utf-8'))

 客户端：

import  socket
S=socket.socket()
BUF_SIZ=1024
IP_PORT=('127.0.0.01',4567)
S.connect(IP_PORT)
while True:
    SEND_DATA=input('Entre send data >:')
    S.send(bytes(SEND_DATA,encoding='utf=-8'))
    REV_DATA=S.recv(BUF_SIZ).decode()
    print(REV_DATA)
S.close()

d：客户端断开，服务端不断开，可以持续接收请求：
服务端：

import socket
S=socket.socket()
IP_PORT=('0.0.0.0',4567)
S.bind(IP_PORT)
S.listen(4)
while True:
    conn,addres=S.accept()
    while True:
        try:
            REV_DATA=conn.recv(1024).decode()
            print(REV_DATA)
            conn.send(bytes(REV_DATA,encoding='utf-8'))
        except ConnectionResetError as e:
            break

客户端：

import  socket
S=socket.socket()
BUF_SIZ=1024
IP_PORT=('127.0.0.01',4567)
S.connect(IP_PORT)
while True:
    SEND_DATA=input('Entre send data >:')
    S.send(bytes(SEND_DATA,encoding='utf=-8'))
    REV_DATA=S.recv(BUF_SIZ).decode()
    print(REV_DATA)
S.close()

 e:模拟ssh隧道：

import socket
import subprocess
S=socket.socket()
IP_PORT=('0.0.0.0',4567)
S.bind(IP_PORT)
S.listen(4)
while True:
    conn,addres=S.accept()
    while True:
        try:
            REV_DATA=conn.recv(1024).decode()
            p=subprocess.Popen(REV_DATA,shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)##接收命令。
            SEND_DATA=p.stdout.read()
            ERROR=p.stderr.read()
            if not SEND_DATA:##注意当命令不存在的时候，error有值。send_data重新赋值导致不为0，所以下面条件不走。而当命令没有输出的时候，标准输出和错误都为0，第2个条件肯定走。
                SEND_DATA=ERROR
            if len(SEND_DATA)==0:
                print(SEND_DATA)
                SEND_DATA='command has no ouput!'
                conn.send(bytes(SEND_DATA,encoding='utf-8'))
                continue
            SEND_DATA=str(SEND_DATA,encoding='gbk')
            print(REV_DATA)
            conn.send(bytes(SEND_DATA,encoding='utf-8'))
        except ConnectionResetError as e:
            break

客户端：

import  socket
S=socket.socket()
BUF_SIZ=1024
IP_PORT=('127.0.0.01',4567)
S.connect(IP_PORT)
while True:
    SEND_DATA=input('Entre send data >:')
    S.send(bytes(SEND_DATA,encoding='utf=-8'))
    REV_DATA=S.recv(BUF_SIZ).decode()
    print(REV_DATA)
S.close()

f：黏包问题：上面客户端和服务端只是接收简单的字符而且小于接收的大小1024字节，如果发送的数据超过1024字节的时候会出现黏包现象，导致收数据的时候内容有可能是上次未接收的数据。
解决方法：在发送的时候，告诉对端发送的多少字节既可解决黏包问题。
服务端：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import socket
import subprocess #导入执行命令模块
ip_port=('127.0.0.1',7777) #定义元祖
s=socket.socket()  #绑定协议，生成套接字
s.bind(ip_port)    #绑定ip+协议+端口：用来唯一标识一个进程，ip_port必须是元组格式
s.listen(5)        #定义最大可以挂起的链接数
while True:  #用来重复接收新的链接
    conn,addr=s.accept()   #接收客户端胡链接请求，返回conn（相当于一个特定胡链接），addr是客户端ip+port
    #收消息
    while True: #用来基于一个链接重复收发消息
            try: #捕捉客户端异常关闭（ctrl+c）
                recv_data=conn.recv(1024) #收消息，阻塞
                if len(recv_data) == 0:break #客户端如果退出，服务端将收到空消息，退出

                #发消息
                p=subprocess.Popen(str(recv_data,encoding='utf8'),shell=True,stdout=subprocess.PIPE) #执行系统命令，windows平
                                                                                                      # 台命令的标准输出是gbk编码，需要转换
                res=p.stdout.read()   #获取标准输出
                if len(res) == 0:   #执行错误命令，标准输出为空，
                    send_data='cmd err'
                else:
                    send_data=str(res,encoding='gbk')  #命令执行ok，字节gbk---->str---->字节utf-8

                send_data=bytes(send_data,encoding='utf8')


                #解决粘包问题
                ready_tag='Ready|%s' %len(send_data)
                conn.send(bytes(ready_tag,encoding='utf8')) #发送数据长度
                feedback=conn.recv(1024)  #接收确认信息
                feedback=str(feedback,encoding='utf8')

                if feedback.startswith('Start'):
                    conn.send(send_data)  #发送命令的执行结果
            except Exception:
                break
    
    conn.close() 

客户端：

#!/usr/bin/env python
# -*- coding:utf-8 -*- 
 4 import socket
ip_port=('0.0.0.0',7777) 7 s=socket.socket
9 s.connect(ip_port)  #链接服务端，如果服务已经存在一个好的连接，那么挂起

while True:        #基于connect建立的连接来循环发送消息
    send_data=input(">>: ").strip()
    if send_data == 'exit':break
    if len(send_data) == 0:continue
    s.send(bytes(send_data,encoding='utf8'))

    #解决粘包问题
    ready_tag=s.recv(1024) #收取带数据长度的字节。
    ready_tag=str(ready_tag,encoding='utf8')
    if ready_tag.startswith('Ready'):#Ready|9998
        msg_size=int(ready_tag.split('|')[-1])  #获取待接收数据长度
    start_tag='Start'
    s.send(bytes(start_tag,encoding='utf8')) #发送确认信息

    #基于已经收到的待接收数据长度，循环接收数据
    recv_size=0
    recv_msg=b''
    while recv_size < msg_size:
        recv_data=s.recv(1024)
        recv_msg+=recv_data
        recv_size+=len(recv_data)
        print('MSG SIZE %s RECE SIZE %s' %(msg_size,recv_size))

    print(str(recv_msg,encoding='utf8'))
36 s.close()

 四：socketserver 模块介绍：
SocketServer内部使用 IO多路复用 以及 “多线程” 和 “多进程” ，从而实现并发处理多个客户端请求的Socket服务端。即：每个客户端请求连接到服务器时，Socket服务端都会在服务器是创建一个“线程”或者“进程” 专门负责处理当前客户端的所有请求。

import socketserver
import subprocess
class MyServer(socketserver.BaseRequestHandler):
    def handle(self):
        # print self.request,self.client_address,self.server
        self.request.sendall(bytes('欢迎致电 10086，请输入1xxx,0转人工服务.',encoding="utf-8"))
        while True:
            data = self.request.recv(1024)
            if len(data) == 0:break
            print("[%s] says:%s" % (self.client_address,data.decode() ))
            #self.request.sendall(data.upper())
            cmd = subprocess.Popen(data.decode(),shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
            cmd_res =cmd.stdout.read()
            if not cmd_res:
              cmd_res = cmd.stderr.read()
            if len(cmd_res) == 0: #cmd has not output
              cmd_res = bytes("cmd has output",encoding="utf-8")
            self.request.send(cmd_res )

if __name__ == '__main__':
    server = socketserver.ThreadingTCPServer(('0.0.0.0', 8009), MyServer)###‘0.0.0.0’表示服务器所有网卡都进行监听。
    server.serve_forever()

在类中必须定义一个函数handle.
第3行：继承socketserver.BaseRequestHandler类中，该类中自动执行函数handle函数，在类中该函数未定义。也就是自动执行我们自定义类Myserver中的handle()函数。

21：在我们定义的类Myserver当做实参传入ThreadingTCPServer中。

在BaseServer类中需要传入RequestHandlerClass

22：server.serve_forever()表示永远运行下去。
多并发处理客户端请求。
服务器端：

import socketserver

class MyServer(socketserver.BaseRequestHandler):
    def handle(self):
        # print self.request,self.client_address,self.server
        self.request.sendall(bytes('welcome to socketserver.',encoding="utf-8"))
        while True:
            data = self.request.recv(1024)
            print("-->",len(data))
            if len(data) == 0:break
            print("[%s] says:%s" % (self.client_address,data.decode() ))
            self.request.sendall(data.upper())

if __name__ == '__main__':
    server = socketserver.ThreadingTCPServer(('127.0.0.1',8009),MyServer)
    server.serve_forever()

客户端：

import socket
ip_port=('192.168.11.58',8009)

s=socket.socket()

s.connect(ip_port)

welcome_msg = s.recv(1024)
print("from server:",welcome_msg.decode())
while True:
    send_data=input(">>: ").strip()
    if len(send_data) == 0:continue
    s.send(bytes(send_data,encoding='utf8'))

    recv_data=s.recv(1024)
    print(str(recv_data,encoding='utf8'))

s.close()