Python学习（十三） —— 网络编程

一、操作系统基础

　　操作系统(Operating System)：OS是管理和控制计算机硬件和软件资源的计算机程序，是直接运行在“裸机”上的最基本的系统软件，任何其他软件都必须在操作系统的支持下才能运行。

二、网络通信原理

　　互联网的本质就是一系列的协议，总称为“互联网协议（Internet Protocol Suite）”。

　　互联网协议的功能：定义计算机如何接入Internet，以及接入Internet的计算机的通信的标准。

　　互联网协议按照功能不同分为osi七层协议或tcp/ip五层协议或tcp/ip四层协议

　　

　　每层运行常见物理设备

　　

 　　详细内容：http://www.cnblogs.com/linhaifeng/articles/5937962.html#_label1

三、SOCKET（套接字）

　　

　　Socket是应用层与TCP/IP协议族通讯的中间软件抽象层，它是一组接口。

　　在设计模式中，Socket其实就是一个门面模式，它把复杂的TCP/IP协议族隐藏在Socket接口后面，对用户来说，一组简单的接口就是全部，让Socket去组织数据，以符合指定的协议。

　　套接字起源于 20 世纪 70 年代加利福尼亚大学伯克利分校版本的 Unix,即人们所说的 BSD Unix。 因此,有时人们也把套接字称为“伯克利套接字”或“BSD 套接字”。

　　一开始,套接字被设计用在同 一台主机上多个应用程序之间的通讯。这也被称进程间通讯,或 IPC。套接字有两种（或者称为有两个种族）,分别是基于文件型的和基于网络型的。 

　　基于文件类型的套接字家族：AF_UNIX

　　unix一切皆文件，基于文件的套接字调用的就是底层的文件系统来取数据，两个套接字进程运行在同一机器，可以通过访问同一个文件系统间接完成通信。

　　基于网络类型的套接字家族：AF_INWT

　　(还有AF_INET6被用于ipv6，还有一些其他的地址家族，不过，他们要么是只用于某个平台，要么就是已经被废弃，或者是很少被使用，或者是根本没有实现，所有地址家族中，

　　AF_INET是使用最广泛的一个，python支持很多种地址家族，但是由于我们只关心网络编程，所以大部分时候我么只使用AF_INET)　　

　　3.1 套接字工作流程

　　先从服务器端说起。服务器端先初始化Socket，然后与端口绑定(bind)，对端口进行监听(listen)，调用accept阻塞，等待客户端连接。在这时如果有个客户端初始化一个Socket，然后连接服务器(connect)，

　　如果连接成功，这时客户端与服务器端的连接就建立了。客户端发送数据请求，服务器端接收请求并处理请求，然后把回应数据发送给客户端，客户端读取数据，最后关闭连接，一次交互结束。

　　socket()函数模块用法

# import socket
# socket.socket(socket_family,socket_type,protocal=0)
# socket_family 可以是 AF_UNIX 或 AF_INET。socket_type 可以是 SOCK_STREAM 或 SOCK_DGRAM。protocol 一般不填,默认值为 0。
#
# 获取tcp/ip套接字
# tcpSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
#
# 获取udp/ip套接字
# udpSock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
#
# 由于 socket 模块中有太多的属性。我们在这里破例使用了'from module import *'语句。使用 'from socket import *',我们就把 socket 模块里的所有属性都带到我们的命名空间里了,这样能 大幅减短我们的代码。
# 例如tcpSock = socket(AF_INET, SOCK_STREAM)

 　　套接字模块的使用方法

# 服务端套接字函数
s.bind()    绑定(主机,端口号)到套接字
s.listen()  开始TCP监听
s.accept()  被动接受TCP客户的连接,(阻塞式)等待连接的到来

# 客户端套接字函数
s.connect()     主动初始化TCP服务器连接
s.connect_ex()  connect()函数的扩展版本,出错时返回出错码,而不是抛出异常

# 公共用途的套接字函数
s.recv()            接收TCP数据
s.send()            发送TCP数据(send在待发送数据量大于己端缓存区剩余空间时,数据丢失,不会发完)
s.sendall()         发送完整的TCP数据(本质就是循环调用send,sendall在待发送数据量大于己端缓存区剩余空间时,数据不丢失,循环调用send直到发完)
s.recvfrom()        接收UDP数据
s.sendto()          发送UDP数据
s.getpeername()     连接到当前套接字的远端的地址
s.getsockname()     当前套接字的地址
s.getsockopt()      返回指定套接字的参数
s.setsockopt()      设置指定套接字的参数
s.close()           关闭套接字

# 面向锁的套接字方法
s.setblocking()     设置套接字的阻塞与非阻塞模式
s.settimeout()      设置阻塞套接字操作的超时时间
s.gettimeout()      得到阻塞套接字操作的超时时间

# 面向文件的套接字的函数
s.fileno()          套接字的文件描述符
s.makefile()        创建一个与该套接字相关的文件

 　　3.2 基于TCP的套接字

　　tcp是基于链接的，必须先启动服务端，然后再启动客户端去链接服务端。

　　服务端和客户端进行通讯

#服务端
import socket
servers = socket.socket(socket.AF_INET,socket.SOCK_STREAM)  #实例化一个对象：servers
servers.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)  #配置socket，重用ip和端口，防止端口被占用
servers.bind(('127.0.0.1',8080))  #servers绑定IP和端口，端口范围：0-65535,1-1024系统占用
while True:
    servers.listen(5)  #servers监听链接
    road,address = servers.accept()  #接收客户端的链接，返回一个新套接字表示客户端的链接和地址
    while True:
        try:
            data = road.recv(1024)  #接收客户端的数据
            road.send(data.upper())  #处理数据，并把数据发送给客户端
        except ConnectionResetError:  #处理异常：如果客户端断开链接
            break
    road.close()
servers.close()

#客户端
import socket
client = socket.socket(socket.AF_INET,socket.SOCK_STREAM)  #实例化一个对象：client
client.connect(('127.0.0.1',8080))  #client链接IP和端口
while True:
    msg = input('>>:').strip()
    if not msg:continue  #如果数据为空，不发送
    client.send(msg.encode('utf-8'))  #client向客户端发送数据
    data = client.recv(1024)  #client接收数据
    print(data.decode('utf-8'))
client.close()

 　　服务端执行客户端发送的命令并把命令结果返回：使用subproccess模块，解决粘包问题，使用自定义报头，报头包含发送内容的大小，再将报头的长度使用struct模块转化成固定长度的bytes类型传到客户端，这样客户端就能准确接收，解决粘包问题。

import subprocess
import struct
import socket
import json
server = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
server.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)
server.bind(('127.0.0.1',8080))
server.listen(5)
while True:
    conn,addr = server.accept()
    print(addr)
    while True:
        try:
            cmd = conn.recv(1024)
            if not cmd:break  #在linux系统，如果客户端端口链接，服务端不会报错，而是不断接收空的内容
            cmd = cmd.decode('utf-8')
            obj = subprocess.Popen(cmd,shell=True,
                             stdout=subprocess.PIPE,
                             stderr=subprocess.PIPE)
            stdout = obj.stdout.read()
            stderr = obj.stderr.read()
            header_dic = {           #自定义报头
                'total_size':len(stdout)+len(stderr),
                'md5':'abcdefg1234',
                'filename':'xxxxxxxx'
            }
            header_json = json.dumps(header_dic)  #将字典序列化成字符串
            header_bytes = header_json.encode('utf-8')  #将字符串编码成bytes类型
            header_size = struct.pack('i',len(header_bytes))  #将报头长度变成固定格式的bytes类型
            conn.send(header_size)
            conn.send(header_bytes)
            conn.send(stdout)
            conn.send(stderr)
        except ConnectionResetError:
            break
    conn.close()
server.close()

import struct
import json
import socket
client = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
client.connect(('127.0.0.1',8080))
while True:
    cmd = input('>>:').strip()
    if not cmd:continue
    client.send(cmd.encode('utf-8'))
    obj = client.recv(4)  #接收固定格式的报头长度
    header_size = struct.unpack('i',obj)[0]  #将报头的长度由bytes类型转成数字
    header_bytes = client.recv(header_size)  #根据报头长度接收报头
    header_json = header_bytes.decode('utf-8')
    header_dic = json.loads(header_json)
    print(header_dic)
    total_size = header_dic['total_size']  #拿到内容的长度
    recv_size = 0
    res = b''
    while recv_size < total_size:  #循环接收内容，保证内容被全部接收
        recv_data = client.recv(1024)
        res += recv_data
        recv_size += len(recv_size)
    print(res.decode('gbk'))
client.close()

 　　3.3 基于UDP的套接字

　　udp协议称之为数据报协议SOCK_DGRAM

　　udp协议是无连接的

　　udp协议传输数据不可靠（tcp可靠）

　　应用：DNS，聊天，ntp服务