zoukankan      html  css  js  c++  java
  • I/O复用及epoll基础知识

    IO multiplexing

    IO multiplexing这个词可能有点陌生,但是如果我说select,epoll,大概就都能明白了。有些地方也称这种IO方式为event driven IO。我们都知道,select/epoll的好处就在于单个process就可以同时处理多个网络连接的IO。它的基本原理就是select/epoll这个function会不断的轮询所负责的所有socket,当某个socket有数据到达了,就通知用户进程。它的流程如图:

    当用户进程调用了select,那么整个进程会被block,而同时,kernel会“监视”所有select负责的socket,当任何一个socket中的数据准备好了,select就会返回。这个时候用户进程再调用read操作,将数据从kernel拷贝到用户进程。
    这个图和blocking IO的图其实并没有太大的不同,事实上,还更差一些。因为这里需要使用两个system call (select 和 recvfrom),而blocking IO只调用了一个system call (recvfrom)。但是,用select的优势在于它可以同时处理多个connection。(多说一句。所以,如果处理的连接数不是很高的话,使用select/epoll的web server不一定比使用multi-threading + blocking IO的web server性能更好,可能延迟还更大。select/epoll的优势并不是对于单个连接能处理得更快,而是在于能处理更多的连接。
    在IO multiplexing Model中,实际中,对于每一个socket,一般都设置成为non-blocking,但是,如上图所示,整个用户的process其实是一直被block的。只不过process被select这个函数block,而不是被socket IO给block。

    四种常见的I/O模型:阻塞I/O, 非阻塞I/O, I/O复用,异步I/O。

    详见UNP Ch6.2或下面ref。

    ref1: http://blog.csdn.net/historyasamirror/article/details/5778378

    ref2: http://www.cnblogs.com/Anker/p/3254269.html

     --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

    epoll的LT和ET模式

    epoll是IO复用技术,本身是阻塞模式,但是它能同时监听多个文件描述符因此能高效处理IO。
    LT模式(水平触发):当epoll_wait检测到监听文件描述符上有事件发生时通知应用程序,应用程序可以不立即处理该事件,下次调用epoll_wait时该事件还会被通告直到该事件被处理;

    ET模式(边缘触发):当epoll_wait检测到事件发生告知应用程序后应用程序必须立即处理该事件,后续的epoll_wait将不会再向应用程序告知这一事件。

    二者的差异在于:

    level-trigger模式下只要某个socket处于readable/writable状态【相当于只要电平值是1】,无论什么时候进行epoll_wait都会返回该socket;

    edge-trigger模式下只有某个socket从unreadable变为readable从unwritable变为writable【相当于电平由0变成1那一瞬间】,epoll_wait才会返回该socket。在epoll的ET模式下,正确的读写方式为:读:只要可读,就一直读,直到返回0,或者 errno = EAGAIN;写:只要可写,就一直写,直到数据发送完,或者 errno = EAGAIN。

    ET模式在很大程度上减少了epoll事件被重复触发的次数,因此效率要比LT模式高。epoll工作在ET模式的时候,必须使用非阻塞套接口,以避免由于一个文件句柄的阻塞读/阻塞写操作把处理多个文件描述符的任务饿死。 (?)

    ref1: http://blog.csdn.net/liuxuejiang158blog/article/details/12290725

    ref2:http://www.cnblogs.com/Anker/p/3263780.html

     --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

     select、poll、epoll之间的区别总结 ref  ref2

    select和poll都需要在返回后,通过遍历文件描述符集来获取已经就绪的socket。事实上,同时连接的大量客户端在一时刻可能只有很少的处于就绪状态,因此随着监视的描述符数量的增长,其效率也会线性下降。

    epoll不同于select和poll轮询的方式,而是通过每个fd定义的回调函数来实现的。只有就绪的fd才会执行回调函数。

    select,poll,epoll本质上都是同步I/O,因为他们都需要在读写事件就绪后自己负责进行读写,也就是说这个读写过程是阻塞的;

    异步I/O无需自己负责进行读写,异步I/O的实现会负责把数据从内核拷贝到用户空间。

    比较同步、异步、阻塞、非阻塞

    阻塞,非阻塞:进程/线程要访问的数据未就绪时,进程/线程是否需要等待;
    同步,异步:访问数据的方式。同步需要主动读写数据,在读写数据的过程中还是会阻塞;异步只需要I/O操作完成的通知,并不主动读写数据,由操作系统内核完成数据的读写。

    对unix来讲:阻塞式I/O(默认),非阻塞式I/O(nonblock),I/O复用(select/poll/epoll)都属于同步I/O,因为它们在数据由内核空间复制回进程缓冲区时都是阻塞的(不能干别的事)。只有异步I/O模型(AIO)是符合异步I/O操作的含义的,即在(1) 数据准备完成 (2) 由内核空间拷贝回缓冲区后 通知进程,在等待通知的这段时间里可以干别的事。

    ref: http://www.zhihu.com/question/19732473

  • 相关阅读:
    sklearn中决策树算法DesiciontTreeClassifier()调用以及sklearn自带的数据包sklearn.datasets.load_iris()的应用
    python 中feedParser
    Python中解码decode()与编码encode()与错误处理UnicodeDecodeError: 'gbk' codec can't decode byte 0xab
    Python中的排序方法sort(),sorted(),argsort()等
    Python 关于数组矩阵变换函数numpy.nonzero(),numpy.multiply()用法
    Python中where()函数的用法
    矩阵乘法np.dot()及np.multiply()以及*
    Python打开文件open()的注意事项
    给 Chrome浏览器 添加 Javascript小书签,查看当前页面全部加载的javascript文件及代码片段
    pycharm快捷键及中文说明【使用翻译工具一条一条翻译】
  • 原文地址:https://www.cnblogs.com/forcheryl/p/4710684.html
Copyright © 2011-2022 走看看