Socket编程模式理解与对比

本文主要分析了几种Socket编程的模式。主要包括基本的阻塞Socket、非阻塞Socket、I/O多路复用。其中，阻塞和非阻塞是相对于套接字来说的，而其他的模式本质上来说是基于Socket的并发模式。I/O多路复用又主要分析了分析linux和windows下的常用模型。最后，比较这几种Socket编程模式的优缺点，并讨论多线程与Socket的组合使用和服务器开发的常用模式。

阻塞模式

阻塞模式是最基本的Socket编程模式，在各种关于网络编程的书籍中都是入门的例子。就像其名所说，阻塞模式的Socket会阻塞当前的线程，直到结果返回，否则会一直等待。

非阻塞模式

非阻塞模式是相对阻塞模式来说，Socket并不会阻塞当前线程，非阻塞模式不会等到结果返回，而会立即运行下去。

//设置套接字为非阻塞模式
fcntl( sockfd, F_SETFL, O_NONBLOCK); //O_NONBLOCK标志设置非阻塞模式

这里需要注意，阻塞/非阻塞、同步/异步之前的区别。在本质上它们是不同的。同步和异步是相对操作结果来说，会不会等待结果结果返回。而阻塞和非阻塞是相对线程是否被阻塞来说的。其实，这两者存在本质的区别，它们的修饰对象是不同的。阻塞和非阻塞是指进程访问的数据如果尚未就绪，进程是否需要等待，简单说这相当于函数内部的实现区别，也就是未就绪时是直接返回还是等待就绪。而同步和异步是指访问数据的机制,同步一般指主动请求并等待I/O操作完毕的方式,当数据就绪后在读写的时候必须阻塞,异步则指主动请求数据后便可以继续处理其它任务,随后等待I/O,操作完毕的通知,这可以使进程在数据读写时也不阻塞。因为两者在表现上经常相同，所以经常被混淆。

I/O多路复用

I/O多路复用是一种并发服务器开发技术(处理多个客户端的连接)。通过该技术，系统内核缓冲I/O数据，当某个I/O准备好后，系统通知应用程序该I/O可读或可写，这样应用程序可以马上完成相应的I/O操作，而不需要等待系统完成相应I/O操作，从而应用程序不必因等待I/O操作而阻塞。
在linux下主要有select、poll、epoll三种模型，在freeBSD下则有kqueue，windwos下select、事件选择模型、重叠I/O和完成端口等。

linux上I/O复用模型

select

select本质是通过设置或检查存放fd标志位的数据结构来进行下一步的处理。select是采用轮询fd集合来进行处理的。

//select相关函数
int select(int maxfdp1, fd_set *readset, fd_set *writeset, 
fd_set *exceptset,const struct timeval *timeout)
//返回值：就绪描述符的数目，超时返回0，出错返回-1
void FD_ZERO(fd_set *fdset);           //清空集合
void FD_SET(int fd, fd_set *fdset);   //将一个给定的文件描述符加入集合之中
void FD_CLR(int fd, fd_set *fdset);   //将一个给定的文件描述符从集合中删除
int FD_ISSET(int fd, fd_set *fdset);   // 检查集合中指定的文件描述符是否可以读写

但是，select存在一定的缺陷。单个进程可监视的fd数量被限制，linux下一般为1024。虽然是可以修改的，但是总是有限制的。在每次调用select时，都需要把fd集合从用户态拷贝到内核态，而且需要循环整个fd集合，这个开销很多时候是比较大的。

poll

poll的实现和select非常相似，本质上是相同，只是描述fd集合的方式不同。poll是基于链表来存储的。这虽然没有了最大连接数的限制，但是仍然还有fd集合拷贝和循环带来的开销。而且poll还有一个特点是水平触发，内核通知了fd后，没有被处理，那么内核就会不断的通知，直到被处理。

//poll相关函数
int poll(struct pollfd *fdarray, unsigned long nfds, int timeout);

epoll

epoll是对select和poll的改进。相较于poll，epoll使用“事件”的就绪通知，通过epoll_ctl注册fd，一旦该fd就绪，内核就会采用类似callback的回调机制来激活该fd，把就绪fd放入就绪链表中，并唤醒在epoll_wait中进入睡眠的进程，这样不在需要轮询，判断fd合计合集是否为空。而且epoll不仅支持水平触发，还支持边缘触发。边缘触发是指内核通知fd之后，不管处不处理都不在通知了。在存储fd的集合上，epoll也采用了更为优秀的mmap，而且会保证fd集合拷贝只会发生一次。

//epoll相关函数
int epoll_create(int size); //句柄的创建
int epoll_ctl(int epfd, int op, int fd,
struct epoll_event *event); //事件注册
int epoll_wait(int epfd, struct epoll_event * events, 
int maxevents, int timeout); //等待事件的发生

Windows上的I/O复用模型

事件选择模型

事件选择模型是基于消息的。它允许程序通过Socket，接收以事件为基础的网络事件通知。

//事件选择模型相关函数
WSAEVENT WSACreatEvent(void);  //创建事件对象
int WSAEventSelect(SOCKET s, WSAEVENT hEventObject,
long  lNetworkEvents); //关联事件

重叠I/O模型

重叠I/O模型是异步I/O模型。重叠模型的核心是一个重叠数据结构。重叠模型是让应用程序使用重叠数据结构(WSAOVERLAPPED)，一次投递一个或多个Winsock I/O请求。若想以重叠方式使用文件，必须用FILE_FLAG_OVERLAPPED 标志打开它。当I/O操作完成后，系统通知应用程序。利用重叠I/O模型，应用程序在调用I/O函数之后，只需要等待I/O操作完成的消息即可。

HANDLE hFile = CreateFile(lpFileName, GENERIC_READ | 
GENERIC_WRITE, FILE_SHARE_READ | FILE_SHARE_WRITE, NULL, OPEN_EXISTING, FILE_FLAG_OVERLAPPED, NULL);　

完成端口模型(IOCP)

IOCP完成端口是目前Windows下性能最好的I/O模型，当然也是最复杂的。简单的说，IOCP 是一种高性能的I/O模型，是一种应用程序使用线程池处理异步I/O请求的机制。IOCP将所有用户的请求都投递到一个消息队列中去，然后线程池中的线程逐一从消息队列中去取出消息并加以处理，就可以避免针对每一个I/O请求都开线程。不仅减少了线程的资源，也提高了线程的利用率。

//IOCP简单流程    
//创建完成端口
Port port = createIoCompletionPort(INVALID_HANDLE_VALUE, 
0, 0, fixedThreadCount());

//将Socket关联到IOCP
CreateIoCompletionPort((HANDLE )m_sockClient,m_hIocp, 
(ULONG_PTR )m_sockClient, 0);

//投递AcceptEx请求
LPFN_ACCEPTEX     m_lpfnAcceptEx;         // AcceptEx函数指针  
GUID GuidAcceptEx = WSAID_ACCEPTEX;        // GUID，这个是识别AcceptEx函数必须的  
DWORD dwBytes = 0;    
WSAIoctl(  
    m_pListenContext->m_Socket,   
    SIO_GET_EXTENSION_FUNCTION_POINTER,   
    &GuidAcceptEx,   
    sizeof(GuidAcceptEx),   
    &m_lpfnAcceptEx,   
    sizeof(m_lpfnAcceptEx),   
    &dwBytes,   
    NULL,   
    NULL);

//使用GetQueuedCompletionStatus()监控完成端口
void *lpContext = NULL;  
OVERLAPPED        *pOverlapped = NULL;  
DWORD            dwBytesTransfered = 0;  
BOOL bReturn  =  GetQueuedCompletionStatus(  
                            pIOCPModel->m_hIOCompletionPort,  
                            &dwBytesTransfered,  
                            (LPDWORD)&lpContext,  
                            &pOverlapped,  
                            INFINITE );

//收到通知
int nBytesRecv = WSARecv(pIoContext->m_Socket, pIoContext ->p_wbuf,
1, &dwBytes, 0, pIoContext->p_ol, NULL);  

线程的使用

在以上I/O复用模型的讨论中，其实都含有线程的使用。重叠I/O和I/O完成端口都是利用了线程。这也可以看出在高并发服务器的开发中，采用线程也是十分必要的。在I/O完成端口的使用中，还会使用到线程池，这也是现在应用十分广泛的。通过线程池，可以降低频繁创建线程带来的开销。

在Windows下一般使用windows提供I/O模型就足够应付很多场景。但是，在linux下I/O模型都是和线程不相关的。有时为了更高的性能，也会采取线程池和I/O复用模型结合使用。比如许多Linux服务端程序就采用epoll和线程池结合的形式，当然引入线程也带来了更多的复杂度，需要注意线程的控制和性能开销(线程的主要开销在线程的切换上)。而epoll本来也足够优秀，所以仅用epoll也是可以的，像libevent这种著名的网络库也是采用epoll实现的。当然，在linux下也有只使用多进程或多线程来达到并发的。这样会带来一定缺点，程序需要维护大量的Scoket。在服务端开发中使用线程，也要劲量保证无锁，锁也是很高的开销的。