zoukankan      html  css  js  c++  java
  • Linux Sendfile 的优势

    Sendfile 函数在两个文件描写叙述符之间直接传递数据(全然在内核中操作,传送),从而避免了内核缓冲区数据和用户缓冲区数据之间的拷贝,操作效率非常高,被称之为零拷贝。

    Sendfile 函数的定义例如以下:

    #include<sys/sendfile.h>

    ssize_t sendfile(int out_fd,int in_fd,off_t*offset,size_t count);

    传统方式read/write send/recv

    在传统的文件传输里面(read/write方式),在实现上事实上是比較复杂的,须要经过多次上下文的切换。我们看一下例如以下两行代码:   

    1. read(file, tmp_buf, len);       

    2. write(socket, tmp_buf, len);  

     

     以上两行代码是传统的read/write方式进行文件到socket的传输。

     

    当须要对一个文件进行传输的时候,其详细流程细节例如以下:

     

    1、调用read函数,文件数据被copy到内核缓冲区

    2、read函数返回。文件数据从内核缓冲区copy到用户缓冲区

    3、write函数调用。将文件数据从用户缓冲区copy到内核与socket相关的缓冲区。

    4、数据从socket缓冲区copy到相关协议引擎。

     

    以上细节是传统read/write方式进行网络文件传输的方式,我们能够看到,在这个过程其中。文件数据实际上是经过了四次copy操作:

     

    硬盘—>内核buf—>用户buf—>socket相关缓冲区(内核)—>协议引擎

    新方式sendfile

    而sendfile系统调用则提供了一种降低以上多次copy。提升文件传输性能的方法。

    Sendfile系统调用是在2.1版本号内核时引进的:

     

    1. sendfile(socket, file, len);   

     

     

    执行流程例如以下:

     

    1、sendfile系统调用,文件数据被copy至内核缓冲区

    2、再从内核缓冲区copy至内核中socket相关的缓冲区

    3、最后再socket相关的缓冲区copy到协议引擎

     

    相较传统read/write方式,2.1版本号内核引进的sendfile已经降低了内核缓冲区到user缓冲区。再由user缓冲区到socket相关 缓冲区的文件copy,而在内核版本号2.4之后,文件描写叙述符结果被改变,sendfile实现了更简单的方式,系统调用方式仍然一样,细节与2.1版本号的 不同之处在于,当文件数据被拷贝到内核缓冲区时,不再将全部数据copy到socket相关的缓冲区,而是只将记录数据位置和长度相关的数据保存到 socket相关的缓存,而实际数据将由DMA模块直接发送到协议引擎,再次降低了一次copy操作。

  • 相关阅读:
    调参过程中的参数 学习率,权重衰减,冲量(learning_rate , weight_decay , momentum)
    mxnet框架样本,使用C++接口
    faster-rcnn中ROI_POOIING层的解读
    SVM公式推导笔记
    RNN的简单的推导演算公式(BPTT)
    优化器--牛顿法总结
    评估一个预测模型性能通常都有那些指标
    nautilus出现一闪而过现象
    PIL遇到问题解决
    使用神经网络来拟合函数y = x^3 +b
  • 原文地址:https://www.cnblogs.com/mthoutai/p/7040007.html
Copyright © 2011-2022 走看看