TCP/IP网络编程之优于select的epoll（一）

epoll的理解及应用

select复用方法由来已久，因此，利用该技术后，无论如何优化程序性能也无法同时接入上百个客户端。这种select方式并不适合以web服务端开发为主流的现代开发环境，所以要学习Linux平台下的epoll。我们先来看TCP/IP网络编程之I/O复用的echo_selectserv.c

echo_selectserv.c

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <arpa/inet.h>
#include <sys/socket.h>
#include <sys/time.h>
#include <sys/select.h>

#define BUF_SIZE 100
void error_handling(char *buf);

int main(int argc, char *argv[])
{
    int serv_sock, clnt_sock;
    struct sockaddr_in serv_adr, clnt_adr;
    struct timeval timeout;
    fd_set reads, cpy_reads;

    socklen_t adr_sz;
    int fd_max, str_len, fd_num, i;
    char buf[BUF_SIZE];
    if (argc != 2) {
        printf("Usage : %s <port>
", argv[0]);
        exit(1);
    }

    serv_sock = socket(PF_INET, SOCK_STREAM, 0);
    memset(&serv_adr, 0, sizeof(serv_adr));
    serv_adr.sin_family = AF_INET;
    serv_adr.sin_addr.s_addr = htonl(INADDR_ANY);
    serv_adr.sin_port = htons(atoi(argv[1]));

    if (bind(serv_sock, (struct sockaddr *)&serv_adr, sizeof(serv_adr)) == -1)
        error_handling("bind() error");
    if (listen(serv_sock, 5) == -1)
        error_handling("listen() error");

    FD_ZERO(&reads);
    FD_SET(serv_sock, &reads);
    fd_max = serv_sock;

    while (1)
    {
        cpy_reads = reads;
        timeout.tv_sec = 5;
        timeout.tv_usec = 5000;

        if ((fd_num = select(fd_max + 1, &cpy_reads, 0, 0, &timeout)) == -1)
            break;
        if (fd_num == 0)
            continue;

        for (i = 0; i < fd_max + 1; i++)
        {
            if (FD_ISSET(i, &cpy_reads))
            {
                if (i == serv_sock) // connection request!
                {
                    adr_sz = sizeof(clnt_adr);
                    clnt_sock =
                        accept(serv_sock, (struct sockaddr *)&clnt_adr, &adr_sz);
                    FD_SET(clnt_sock, &reads);
                    if (fd_max < clnt_sock)
                        fd_max = clnt_sock;
                    printf("connected client: %d 
", clnt_sock);
                }
                else // read message!
                {
                    str_len = read(i, buf, BUF_SIZE);
                    if (str_len == 0) // close request!
                    {
                        FD_CLR(i, &reads);
                        close(i);
                        printf("closed client: %d 
", i);
                    }
                    else
                    {
                        write(i, buf, str_len); // echo!
                    }
                }
            }
        }
    }
    close(serv_sock);
    return 0;
}

void error_handling(char *buf)
{
    fputs(buf, stderr);
    fputc('
', stderr);
    exit(1);
}

　

基于select的I/O复用技术速度慢的原因

• 调用select函数后常见的针对所有文件描述符的循环语句
• 每次调用select函数时都需要向该函数传递监视对象信息

上述两点可以在echo_selectserv.c中的第45、49及54行代码得到确认。调用select函数后，并不是把发生变化的文件描述符单独集中到一起，而是通过观察作为监视对象的fd_set变量的变化，找出发生变化的文件描述符（第54、56行），因此无法避免针对所有监视对象的循环语句。而且，作为监视对象的fd_set变量会发生变化，所以调用select函数前应复制并保存原有信息（第45行），并在每次调用select函数时传递新的监视对象

大家可以想一想，哪些因素是提高性能的障碍？是调用select函数后常见的针对所有文件描述符对象的循环语句？还是每次需要传递的监视对象信息？

只看代码的话很容易认为是循环，但相比循环，更大的障碍是每次传递监视对象信息。因为传递监视对象信息的含义为：每次调用select函数时向操作系统传递监视对象信息。应用程序向操作系统传递数据将对程序造成很大负担，而且无法通过优化代码解决，因此成为性能上的致命弱点

那为何需要把监视对象信息传递给操作系统呢？有些函数不需要操作系统的帮助就能完成的功能，而有些则必须借助操作系统。假设各位定义了四则运算相关函数，此时无需操作系统的帮助。但select函数与文件描述符相关，更准确地说，是监视套接字变化的函数。而套接字是由操作系统管理的，所以select函数绝对需要借助于操作系统才能完成。select函数的这一缺点的弥补方式为：仅仅向操作系统传递一次监视对象，监视范围或内容发生变化时只通知发生变化的事项

这样就无需每次调用select函数时都向操作系统传递监视对象信息，但前提是操作系统支持这种处理方式（每种操作系统支持的程度和方式都存在差异）。Linux的支持方式是epoll，Windows的支持方式是IOCP

知道epoll函数后，可能有人对select函数失望，但大家应该掌握select函数，epoll只在Linux下支持，也就是说改进的I/O复用模型不具兼容性，而大部分操作系统都支持select函数。所以，select具有以下两个优点：

• 服务端接入者少
• 程序应具有兼容性

实现epoll时必要的函数和结构体

能够克服select函数缺点的epoll函数具有如下优点，这些优点正好与之前的select函数缺点相反：

• 无需编写以监视状态变化为目的的针对所有文件描述符的循环语句
• 调用对应于select函数的epoll_wait函数时无需每次传递监视对象信息

下面介绍epoll服务端实现中需要的三个函数：

• epoll_create：创建保存epoll文件描述符的空间
• epoll_ctl：向空间注册并注销文件描述符
• epoll_wait：与select函数类似，等待文件描述符发生变化

select方式中为了保存监视对象文件描述符，直接声明了fd_set变量。但epoll方式下由操作系统负责保存监视对象文件描述符，因此需要向操作系统请求创建保存文件描述符的空间，此时使用的函数就是epoll_create

此外，为了添加和删除监视对象文件描述符，select方式中需要FD_SET、FD_CLR函数。但在epoll方式中，通过epoll_ctl函数请求操作系统完成。还有，select方式中通过fd_set变量查看监视对象的状态变化（事件发生与否），而epoll中是通过调用epoll_wait函数。还有，select方式中通过fd_set变量查看监视对象的状态变化（事件发生与否），而epoll方式中通过如下结构体epoll_event将发生变化的文件描述符单独集中到一起

struct epoll_event 
{
	__uint32_t events; 
	epoll_data_t data;   
};

typedef union epoll_data 
{
	void *ptr;
	int fd;
	__uint32_t u32;
	__uint64_t u64;
} epoll_data_t;

　　

声明足够大的epoll_event结构体数组后，传递给epoll_wait函数时，发生变化的文件描述符信息将被填入该数组。因此，无需像select函数那样针对所有文件描述符进行循环。以上就是epoll中需要的函数和结构体，实际上，只要有select程序编写的经验，epoll程序的编写就不难。接下来给出这些函数的详细说明

epoll是从Linux2.5.44版内核开始引入的，所以使用epoll前需要先检查Linux内核版本。若有人怀疑自己Linux版本过低，可通过如下命令验证

# cat /proc/sys/kernel/osrelease 
3.10.0-693.21.1.el7.x86_64

　　

epoll_create

#include <sys/epoll.h>
int epoll_create(int size);//成功时返回epoll文件描述符，失败时返回-1

　　

•  size：epoll实例的大小

调用epoll_create函数时创建的文件描述符保存空间称为“epoll例程”，但有些情况下名称不同，需要稍加注意。通过参数size传递的值决定epoll例程的大小，但该值只是向操作系统提的建议，换言之，size并非决定epoll例程的大小，而是仅供操作系统参考

epoll_create函数创建的资源与套接字相同，也由操作系统管理。因此，该函数和创建套接字对的情况相同，也会返回文件描述符。也就是说，该函数返回的文件描述符主要用于区分epoll例程。需要终止时，与其他文件描述符相同，也要调用close函数

epoll_ctl

#include <sys/epoll.h>
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);

　　

• epfd：用于注册监视对象的epoll例程的文件描述符
• op：用于指定监视对象的添加、删除或更改等操作
• fd：需要注册的监视对象文件描述符
• event：监视对象的事件类型

与其他epoll函数相比，该函数有些复杂，但通过调用语句就很容易理解。假设按照如下形式调用epoll_ctl函数：

epoll_ctl(A, EPOLL_CTL_ADD, B, C);

　　

第二个参数EPOLL_CTL_ADD意味着“添加”，因此上述语句的含义是：epoll例程A中注册文件描述符B，主要目的是监视参数C中的事件

再介绍一个调用语句：

epoll_ctl(A, EPOLL_CTL_DEL, B, NULL);

　　

上述语句中第二个参数EPOLL_CTL_DEL指“删除”，因此该语句的含义为：从epoll例程A中删除文件描述符B

从上述调用语句中可以看到，从监视对象中删除时，不需要监视类型（事件信息），因此向第四个参数传递NULL。接下来介绍epoll_ctl第二个参数传递的常量及含义：

• EPOLL_CTL_ADD：将文件描述符注册到epoll例程
• EPOLL_CTL_DEL：从epoll例程中删除文件描述符
• EPOLL_CTL_MOD：更改注册的文件描述符的关注事件发生情况

如前所示，向epoll_ctl的第二个参数传递EPOLL_CTL_DEL时，应同时向第四个参数传递NULL。但Linux2.6.9之前的内核不允许传递NULL。虽然被忽略掉，但也应传递epoll_event结构体变量的地址值。其实这是BUG，但也没必要因此怀疑epoll的功能，因为我们使用的标准函数中也存在BUG

下面讲解epoll_ctl函数的第四个参数，其类型是之前讲过的epoll_event结构体指针。如前所述，epoll_event结构体用于保存发生事件的文件描述符集合。但也可以在epoll例程中注册文件描述符时，用于注册关注的事件。函数中epoll_event结构体的定义并不显眼，因此通过调用语句说明该结构体在epoll_ctl函数中的应用

struct epoll_event event;
……
event.events=EPOLLIN;//发生需要读取数据的情况（事件）时
event.data.fd=sockfd;
epoll_ctl(epfd, EPOLL_CTL_ADD, sockfd, &event);
……

　　

上述代码将sockfd注册到epoll例程epfd中，并在需要读取数据的情况下产生相应事件。接下来给出epoll_event的成员events中可以保存的常量及所指的事件类型

• EPOLLIN：需要读取数据的情况
• EPOLLOUT：输出缓冲为空，可以立即发送数据的情况
• EPOLLPRI：收到OOB数据的情况
• EPOLLRDHUP：断开连接或半关闭的情况，这在边缘触发方式下非常有用
• EPOLLERR：发生错误的情况
• EPOLLET：以边缘触发的方式得到事件通知
• EPOLLONESHOT：发生一次事件后，相应文件描述符不再收到事件通知。因此需要向epoll_ctl函数的第二个参数传递EPOLL_CTL_MOD，再次设置事件

epoll_wait

#include <sys/epoll.h>
int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);//成功时返回发生事件的文件描述符，失败时返回-1

　　

• epfd：表示事件发生监视范围的epoll例程的文件描述符
• events：保存发生事件的文件描述符集合的结构体地址值
• maxevents：第二个参数中可以保存的最大事件数
• timeout：以1/1000秒为单位的等待时间，传递-1时，一直等待直到发生事件

该函数的调用方式如下，需要注意的是，第二个参数所指缓冲需要动态分配

int event_cnt;
struct epoll_event * ep_events;
……
ep_events = malloc(sizeof(struct epoll_event)*EPOLL_SIZE);//EPOLL_SIZE是宏常量
……
event_cnt = epoll_wait(epfd, ep_events, EPOLL_SIZE, -1);
……

　　

调用函数后，返回发生事件的文件描述符，同时在第二个参数指向的缓冲中保存发生事件的文件描述符集合。因此，无需像select那样插入针对所有文件描述符的循环