epoll ET模式陷阱分析

0. 前言

　　这篇文章主要记录在使用epoll实现NIO接入时所遇到的问题。

1. epoll简介

　　epoll是Linux下提供的NIO，其主要有两种模式，ET(Edge trige)和LT(Level trige)。在linux下使用man epoll手册即可知道这两种模式主要的区别：

　　ET：边缘触发，故名思议，所添加的描述符，只在当其改变状态的时候才会触发一次，就如同数电里面电平的边缘触发。

　　在man里面列举了一个例子，当一个fd添加到epoll中时，当有2KB数据到达时，epoll_wait会返回事件个数以及其fd，此时，当程序读取了1KB数据后继续调用epoll_wait，1）对于ET来说会继续等待，2）而LT则是继续触发返回。

2. epoll错误程序分析

　　下述为错误的示例：

#include <sys/epoll.h>
#include <unistd.h>
#include <fcntl.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <errno.h>
#include <string.h>

#define MAX_BACKLOG    256
#define MAX_EVENTS    1024

static int SetNonBlock(int nFd)
{
    int nOldOpt = fcntl(nFd, F_GETFD, 0);
    int nNewOpt = nOldOpt | O_NONBLOCK;

    return fcntl(nFd, F_SETFD, nNewOpt);
}

static void AddEvent(int nEpfd, int nFd)
{
    struct epoll_event event;
    event.data.fd = nFd;
    event.events = EPOLLIN | EPOLLOUT | EPOLLRDHUP | EPOLLET;

    return epoll_ctl(nEpfd, EPOLL_CTL_ADD, &event);
}

int main(int argc, char const *argv[])
{
    if (argc != 2)
    {
        printf("usage: CMD Port
");
        exit(-1);
    }

    int nPort = atoi(argv[1]);
    if (nPort < 0)
    {
        printf("Port Invalid
");
        exit(-1);
    }

    int nSvrFd = socket(AF_INET, SOCK_STREAM, 0);
    //设置非阻塞
    SetNonBlock(nSvrFd);

    //绑定地址
    struct sockaddr_in addr;
    bzero(&addr, sizeof(addr));

    addr.sin_addr = 0;
    addr.sin_port = htons(argv[1]);
    addr.sin_family = htos(AF_INET);

    if (0 != bind(nSvrFd, (struct sockaddr*)&addr, sizeof(addr)))
    {
        perror("Bind Failure:");
        exit(-1);
    }

    //监听端口
    if (0 != listen(nSvrFd, MAX_BACKLOG))
    {
        perror("Listen Failure:");
        exit(-1);
    }

    int nEpfd = epoll_create(1024);
    struct epoll_event events[MAX_EVENTS];

    AddEvent(nEpfd, nSvrFd);

    while (1)
    {
        //等待事件到来
        int nReadyNums = epoll_wait(nEpfd, events, MAX_EVENTS, -1);

        for (int i = 0; i < nReadyNums; ++i)
        {
            if (events[i].data.fd == nSvrFd)
            {
                //这里对于ET模式来说是有问题的
                int nClientFd = accept(nSvrFd, NULL, NULL);
                if (-1 != nClientFd)
                {
                    //设置为非阻塞
                    SetNonBlock(nClientFd);
                    //添加事件监听
                    AddEvent(nEpfd, nClientFd);
                }

            }  else
            {
                //处理FD事件
            }
        }
    }

    return 0;
}

　　分析：这里的程序使用ET + 非阻塞，对于accept没有使用循环接收，则会导致当两个连接同时接入的时候，只触发一次，则accept一次，另外一个则停留在SYN队列中。当终端超时后发送FIN状态，这边只是将该连接标识为只读状态。并连接处于CLOSE_WAIT状态。当下一次接入的时候，触发epoll，这次accept的却是上一次的连接，这次的连接依然停留在SYN队列中。如果后续都是单次触发的话，则会导致后续交易都失败。

　　这里对KEEPALIVE选项做个补充，KEEPALIVE是用于检测到连接断开后有操作系统自动释放资源，但是并不会释放SYN队列里面的连接，也就是说，CLOSE_WAIT状态会被清除，但是问题还是存在，会把现象遮蔽了。

　　正确应该是在accept加上一个循环：

while ((nClientFd = accept(nSvrFd, NULL, NULL)) > 0)
{
     //设置为非阻塞
     SetNonBlock(nClientFd);
     //添加事件监听
     AddEvent(nEpfd, nClientFd);
}

3. 总结

　　对于ET模式+非阻塞，无论是recv还是accept，都需要加上循环处理