Linux网络编程-IO复用技术

IO复用是Linux中的IO模型之一，IO复用就是进程预先告诉内核需要监视的IO条件，使得内核一旦发现进程指定的一个或多个IO条件就绪，就通过进程进程处理，从而不会在单个IO上阻塞了。Linux中，提供了select、poll、epoll三种接口函数来实现IO复用。

1、select函数

#include <sys/select.h>  
#include <sys/time.h>  
int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);  
    // 返回：若有就绪描述符则为其个数，超时为0，出错-1  

nfds参数指定了被监听文件描述符的个数，通常设置为监听的所有描述符最大值加1，因为文件描述符是从0开始的。readfs、writefds和exceptfds分别对应可读、可写和异常等事件文件描述符集合，当调用select时，通过这3个参数传入自己感兴趣的文件描述符，select函数返回后，内核通过修改他们来通知应用程序那些文件描述符已经就绪。

fd_set结构体包含一个整形数组，该数组中每一个元素的每一位标记一个文件描述符，fd_set容纳的文件描述符数量由FD_SETSIZE指定，这就限制了select能同时处理的文件描述符最大个数。通过一些宏来操作fd_set结构体中的位：

#include <sys/select.h>  
FD_ZERO(fd_set *fdset);     /* 清除fdset所有标志位 */  
FD_SET(int fd, fd_set fdset);       /* 设置fdset标志位fd */  
FD_CLR(int fd, fd_set fdset);       /* 清除fdset标志位fd */  
int FD_ISSET(int fd, fd_set *fdset);    /* 测试fdset的位fd是否被设置 */  

timeout参数用来设置select的超时时间，它是一个timeval结构类型指针，采用指针参数是应为内核将修改它以告诉应用程序select等待了多久。不过我们不能完全信任select调用返回的timeout值，比如调用失败后timeout的值是不确定的。

struct timeval  
{  
    long tv_sec;    //秒数  
    long tv_usec;   //微秒数  
};  

select提供了一个微妙的定时方案，如果给timeval的成员都赋值0，则select将立即返回；如果timeout为NULL，则select将一直阻塞，直到某个文件描述符就绪。select成功时返回就绪的文件描述符的总数，如果在超时时间内没有任何描述符就绪，select返回0，select失败返回-1并设置errno。如果在select等待期间，程序收到信号，则select立即返回-1，并设置errno为EINTR。

select缺点：

• 每次调用select，都需要把fd集合从用户态拷贝到内核态，这个开销在fd很多时会很大
• 每次调用select都需要在内核遍历传递进来的所有fd，这个开销在fd很多时也很大
• select支持的文件描述符数量太小了，默认是1024

select测试用例：

#include <iostream>
#include <vector>

#include <unistd.h>
#include <sys/select.h>
#include <sys/socket.h>
#include <arpa/inet.h>
#include <string.h>

using namespace std;

int getMaxNumOfVector(vector<int> &fds);
vector<int> flipVector(vector<int> &fds);

int main(int argc, char **argv)
{
    vector<int> fds;
    int listenfd, connfd;
    struct sockaddr_in servaddr;
    
    listenfd = socket(AF_INET, SOCK_STREAM, 0);
    
    memset(&servaddr, 0, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    servaddr.sin_port = htons(8080);
    servaddr.sin_addr.s_addr = INADDR_ANY;
    
    bind(listenfd, (struct sockaddr *)&servaddr, sizeof(servaddr));
    listen(listenfd, 5);
    
    fd_set read_fd;
    fd_set write_fd;
    fd_set except_fd;
    char buff[1024];
    
    FD_ZERO(&read_fd);
    FD_ZERO(&write_fd);
    FD_ZERO(&except_fd);
    
    fds.push_back(STDIN_FILENO);
    fds.push_back(listenfd);
    
    bool running = true;
    while (running) {
        buff[0] = '';
        
        /**
         * 每次调用select都要重新初始化read_fd和except_fd中的文件描述符集
         */
        for (int i = 0; i < fds.size(); i++) {
            FD_SET(fds[i], &read_fd);
            if ((fds[i] != STDIN_FILENO) && (fds[i] != listenfd)) {
                //FD_SET(fds[i], &write_fd);
                FD_SET(fds[i], &except_fd);
            }
        }
        
        int event_num = select(getMaxNumOfVector(fds) + 1, &read_fd, &write_fd, &except_fd, NULL);
        if (event_num < 0) {
            cerr << "select error" << endl;
            break;
        }
        
        for (int i = 0; i < fds.size(); i++) {
            if (fds[i] == STDIN_FILENO) {
                // 从STDIN_FILENO中读取数据
                if (FD_ISSET(STDIN_FILENO, &read_fd)) {
                    cin >> buff;
                    if (strcmp(buff, "quit") == 0) {
                        running = false;
                        break;
                    }
                    else {
                        cout << buff << endl;
                    }
                }
            }
            else if (fds[i] == listenfd) {
                if (FD_ISSET(listenfd, &read_fd)) {
                    connfd = accept(listenfd, NULL, NULL);
                    if (connfd < 0) {
                        running = false;
                        break;
                    }
                    
                    fds.push_back(connfd);
                    cout << "往fds添加 " << connfd << ", fds.size: " << fds.size() << endl;
                }
            }
            else {
                if (FD_ISSET(fds[i], &read_fd)) {
                    int len = recv(fds[i], buff, sizeof(buff) - 1, 0);
                    if (len < 0) {
                        cerr << "recv error" << endl;
                    }
                    else if (len == 0) {
                        cout << "从fds删除 " << fds[i] << endl;
                        // 客户端断开了连接
                        fds[i] = -1;
                    }
                    else {
                        buff[len] = '';
                        cout << fds[i] << " recv: " << buff << endl;
                    }
                }
                else if (FD_ISSET(fds[i], &write_fd)) {
                    
                }
                else if (FD_ISSET(fds[i], &except_fd)) {
                    
                }
            }
        }
        
        fds = flipVector(fds);
    }
    
    // 关闭文件描述符
    for (int i = 0; i < fds.size(); i++) {
        close(fds[i]);
    }
    close(listenfd);

    return 0;
}

int getMaxNumOfVector(vector<int> &fds)
{
    int result = 0;
    
    for (int i = 0; i < fds.size(); i++) {
        if (fds[i] > result) {
            result = fds[i];
        }
    }
    
    return result;
}

vector<int> flipVector(vector<int> &fds) {
    vector<int> fdsnew;
    
    for (int i = 0; i < fds.size(); i++) {
        if (fds[i] != -1) {
            fdsnew.push_back(fds[i]);
        }
    }
    
    return fdsnew;
}

poll函数

#include <poll.h>  
int poll(struct pollfd *fds, nfds_t nfds, int timeout);  
    // 返回：若有就绪描述符则为其数目，超时为0，出错-1 

poll系统调用和select类似，也是在一定时间内轮询一定数量的文件描述符，测试是否有就绪者。nfds参数指定被监听事件集合fds的大小，timeout指定poll的超时值，单位为毫秒，当timeout为-1时，poll调用将一直阻塞，直到某个事件发生；当timeout为0时，poll调用马上返回。

pollfd结构体：

struct pollfd  
{  
    int fd;         /* 文件描述符 */  
    short events;       /* 注册的事件 */  
    short revents;      /* 实际发生的事件，有内核填充 */  
};  

poll支持的事件类型：

poll函数测试用例，监听多个socket连接和终端输入，当在终端中输入quit时退出程序：

#include <iostream>
#include <vector>

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <sys/poll.h>
#include <sys/socket.h>
#include <arpa/inet.h>
#include <string.h>

using namespace std;

vector<pollfd> flipVector(vector<pollfd> &fds);
struct pollfd *getPollfd(vector<pollfd> &fds, int *ppoll_size);

int main(int argc, char **argv)
{
    int listenfd, connfd;
    struct sockaddr_in servaddr;
    
    listenfd = socket(AF_INET, SOCK_STREAM, 0);
    
    memset(&servaddr, 0, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    servaddr.sin_port = htons(8080);
    servaddr.sin_addr.s_addr = INADDR_ANY;
    
    bind(listenfd, (struct sockaddr *)&servaddr, sizeof(servaddr));
    listen(listenfd, 5);
    
    struct pollfd poll_fd;
    vector<struct pollfd> fds;
    
    poll_fd.fd = STDIN_FILENO;
    poll_fd.events = POLLIN;
    fds.push_back(poll_fd);
    
    poll_fd.fd = listenfd;
    poll_fd.events = POLLIN;
    fds.push_back(poll_fd);
    
    char buff[1024];
    struct pollfd *ppoll = NULL;
    int poll_size = 0;
    
    ppoll = getPollfd(fds, &poll_size);
    
    bool running = true;
    while (running) {
        int oldSize = fds.size();
        buff[0] = '';
        
        int event_num = poll(ppoll, poll_size, -1);
        if (event_num < 0) {
            cerr << "select error" << endl;
            break;
        }
        
        int fds_size = fds.size();
        for (int i = 0; i < fds_size; i++) {
            if (ppoll[i].fd == STDIN_FILENO) {
                // 从STDIN_FILENO中读取数据
                if (ppoll[i].revents & POLLIN) {
                    cin >> buff;
                    if (strcmp(buff, "quit") == 0) {
                        running = false;
                        break;
                    }
                    else {
                        cout << buff << endl;
                    }
                }
            }
            else if (ppoll[i].fd == listenfd) {
                if (ppoll[i].revents & POLLIN) {
                    connfd = accept(listenfd, NULL, NULL);
                    if (connfd < 0) {
                        running = false;
                        break;
                    }
                    
                    poll_fd.fd = connfd;
                    poll_fd.events = POLLIN;
                    fds.push_back(poll_fd);
                    cout << "往fds添加 " << connfd << ", fds.size: " << fds.size() << endl;
                }
            }
            else {
                if (ppoll[i].revents & POLLIN) {
                    int len = recv(ppoll[i].fd, buff, sizeof(buff) - 1, 0);
                    if (len < 0) {
                        cerr << "recv error" << endl;
                    }
                    else if (len == 0) {
                        cout << "从fds删除 " << fds[i].fd << endl;
                        // 客户端断开了连接
                        fds[i].events = 0;
                        fds[i].fd = -1;
                    }
                    else {
                        buff[len] = '';
                        cout << fds[i].fd << " recv: " << buff << endl;
                    }
                }
            }
        }
        
        fds = flipVector(fds);
        if (oldSize != fds.size()) {
            free(ppoll);
            ppoll = getPollfd(fds, &poll_size);
        }
    }
    
    // 关闭文件描述符
    for (int i = 0; i < fds.size(); i++) {
        if (fds[i].fd != -1) {
            close(fds[i].fd);
        }
    }
    close(listenfd);

    return 0;
}

struct pollfd *getPollfd(vector<pollfd> &fds, int *ppoll_size)
{
    struct pollfd *poll = (struct pollfd *) malloc(fds.size() * sizeof(struct pollfd));
    for (int i = 0; i < fds.size(); i++) {
        poll[i].fd = fds[i].fd;
        poll[i].events = fds[i].events;
    }
    
    *ppoll_size = fds.size();
    return poll;
}

vector<pollfd> flipVector(vector<pollfd> &fds) {
    vector<pollfd> fdsnew;
    
    for (int i = 0; i < fds.size(); i++) {
        if (fds[i].fd != -1) {
            fdsnew.push_back(fds[i]);
        }
    }
    
    return fdsnew;
}

epoll系列函数

epoll是Linux特有的IO复用函数，它在实现和使用上与select和poll有很大差异，首先，epoll使用一组函数来完成操作，而不是单个函数。其次，epoll把用户关心的文件描述符上的事件放在内核上的一个事件表中，从而无须像select和poll那样每次调用都要重复传入文件描述符集合事件表。但epoll需要使用一个额外的文件描述符，来唯一标识内核中这个事件表，这个文件描述符使用如下epoll_create函数创建：

#include <sys/epoll.h>  
int epoll_create(int size);  
    // 返回：成功返回创建的内核事件表对应的描述符，出错-1  

size参数现在并不起作用，只是给内核一个提示，告诉它内核表需要多大，该函数返回的文件描述符将用作其他所有epoll函数的第一个参数，以指定要访问的内核事件表。用epoll_ctl函数操作内核事件表

#include <sys/epoll.h>  
int epoll_ctl(int opfd, int op, int fd, struct epoll_event *event);  

返回：成功返回0，出错-1

         fd参数是要操作的文件描述符，op指定操作类型，操作类型有3种

• EPOLL_CTL_ADD：往事件表中注册fd上的事件
• EPOLL_CTL_MOD：修改fd上的注册事件
• EPOLL_CTL_DEL：删除fd上的注册时间

event指定事件类型，它是epoll_event结构指针类型

struct epoll_event  
{  
    __uint32_t events;  /* epoll事件 */  
    epoll_data_t data;  /* 用户数据 */  
};  

其中events描述事件类型，epoll支持的事件类型和poll基本相同，表示epoll事件类型的宏是在poll对应的宏加上”E”，比如epoll的数据可读事件是EPOLLIN，但epoll有两个额外的事件类型-EPOLLET和EPOLLONESHOT，它们对于高效运作非常关键，data用于存储用户数据，其类型epoll_data_t定义如下：

typedef union epoll_data  
{  
    void *ptr;  
    int fd;  
    uint32_t u32;  
    uint64_t u64;  
}epoll_data_t;  

epoll_data_t是一个联合体，其4个成员最多使用的是fd，它指定事件所从属的目标文件描述符，ptr成员可用来指定fd相关的用户数据，但由于opoll_data_t是一个联合体，我们不能同时使用fd和ptr，如果要将文件描述符嗯哼用户数据关联起来，以实现快速的数据访问，则只能使用其他手段，比如放弃使用fd成员，而在ptr指针指向的用户数据中包含fd。

#include <sys/epoll.h>  
int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);  
    // 返回：成功返回就绪的文件描述符个数，出错-1  

timeout参数的含义与poll接口的timeout参数相同，maxevents参数指定最多监听多少个事件，它必须大于0。

epoll_wait如果检测到事件，就将所有就绪的事件从内核事件表(由epfd指定)中复制到events指定的数组中，这个数组只用来输epoll_wait检测到的就绪事件，而不像select和poll的参数数组既传递用于用户注册的事件，有用于输出内核检测到就绪事件，这样极大提高了应用程序索引就绪文件描述符的效率。

epoll函数测试用例，监听多个socket连接和终端输入，当在终端中输入quit时退出程序：

#include <iostream>

#include <stdio.h>  
#include <stdlib.h>  
#include <unistd.h>  
#include <sys/types.h>  
#include <sys/socket.h>  
#include <sys/epoll.h>  
#include <netinet/in.h>  
#include <arpa/inet.h>  
#include <fcntl.h>  
#include <string.h> 

using namespace std;

void addfd(int epollfd, int fd)
{
    epoll_event event;
    
    event.data.fd = fd;
    event.events = EPOLLIN;
    epoll_ctl(epollfd, EPOLL_CTL_ADD, fd, &event);
}

void delfd(int epollfd, int fd)
{
    epoll_event event;
    
    event.data.fd = fd;
    event.events = EPOLLIN;
    epoll_ctl(epollfd, EPOLL_CTL_DEL, fd, &event);
}

int main(int argc, char **argv)
{
    int listenfd, connfd;
    struct sockaddr_in servaddr;
    
    listenfd = socket(AF_INET, SOCK_STREAM, 0);
    
    memset(&servaddr, 0, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    servaddr.sin_port = htons(8080);
    servaddr.sin_addr.s_addr = INADDR_ANY;
    
    bind(listenfd, (struct sockaddr *)&servaddr, sizeof(servaddr));
    listen(listenfd, 5);
    
    int epollfd = epoll_create(32);
    if (epollfd < 0) {
        cerr << "epoll_create error" << endl;
        exit(-1);
    }
    
    addfd(epollfd, STDIN_FILENO);
    addfd(epollfd, listenfd);
    
    epoll_event events[32];
    
    char buff[1024];
    bool running = true;
    while (running) {
        buff[0] = '';
        
        int event_num = epoll_wait(epollfd, events, 32, -1);
        if (event_num < 0) {
            cerr << "epoll_wait error" << endl;
            break;
        }
        
        for (int i = 0; i < event_num; i++) {
            int fd = events[i].data.fd;
            int event = events[i].events;
            
            if (fd == STDIN_FILENO) {
                // 从STDIN_FILENO中读取数据
                if (event & EPOLLIN) {
                    cin >> buff;
                    if (strcmp(buff, "quit") == 0) {
                        running = false;
                        break;
                    }
                    else {
                        cout << buff << endl;
                    }
                }
            }
            else if (fd == listenfd) {
                if (event & EPOLLIN) {
                    connfd = accept(listenfd, NULL, NULL);
                    if (connfd < 0) {
                        running = false;
                        break;
                    }
                    
                    addfd(epollfd, connfd);
                    cout << "往epoll添加 " << connfd << endl;
                }
            }
            else {
                if (event & EPOLLIN) {
                    int len = recv(fd, buff, sizeof(buff) - 1, 0);
                    if (len < 0) {
                        cerr << "recv error" << endl;
                    }
                    else if (len == 0) {
                        cout << "从epoll删除 " << fd << endl;
                        // 客户端断开了连接
                        delfd(epollfd, fd);
                    }
                    else {
                        buff[len] = '';
                        cout << fd << " recv: " << buff << endl;
                    }
                }
            }
        }
    }
    
    // 关闭文件描述符
    close(listenfd);

    return 0;
}

参考：

　　1、《UNIX网络编程》IO复用章节

　　2、 网络编程API-下 (I/O复用函数)