zoukankan      html  css  js  c++  java
  • zero-copy

    引言
    C10K problem提到一种zero-copy的技术,可以提高网络的吞吐量,分布式消息队列kafka中在消费者消费消息的时候根据offset进行zero-copy。linux下的zero-copy通过sendfile API实现。

    什么是zero-copy
    zero-copy在概念上是值操作系统避免了内存之间的来回拷贝开销,从使用角度来看,通常是发送网络文件时,文件加载到内核空间后直接发送到网络,避免了内核空间和用户空间的拷贝开销。

    linux下的发送文件至网络的传统方式

     

    1.从硬件读取文件到内核缓冲区
    2.从内核缓冲区拷贝到用户缓冲区
    3.从用户缓冲区拷贝到socket的缓冲区
    4.从socket的缓冲区拷贝到网络驱动中发送
    这中间有两次不必要的开销,2和3的cpu copy开销。
    linux的sendfile

     

    1.从硬件读取到内核缓冲区
    2.从内核缓冲区拷贝到socket缓冲区
    3.从socket缓冲区拷贝到网络驱动发送
    与传统方式相比,减少了内核和用户态的来回拷贝,但还是有一个多余的操作,内核缓冲区到socket缓冲区的拷贝。
    改进后的sendfile

     

    1.从硬件直接拷贝到内核缓冲区
    2.socket缓冲区记录待发送的字节和偏移量
    3.从内核缓冲区直接拷贝到网卡驱动发送
    这个版本改进了内核缓冲区和socket缓冲区的拷贝,socket缓冲区只记录了偏移量和字节,减少了一次cpu拷贝。
    end
    所谓的零拷贝并不是完全没有拷贝,最后优化的版本还是有两次拷贝,但避免了用户和内核的不必要交互,减少cpu拷贝的直接好处就是提高了cpu的利用率。
  • 相关阅读:
    DNN SEO专题 (收集)
    DataTable或者DataSet匯出Excel
    用C#制作PDF文件全攻略(转)
    BlogEngine资料收集
    DNN架构解析(收集)
    Community Server:快速找到需要修改的文件[技巧]
    通用的分页存储过程
    DataTable/DataSet汇出Excel
    百试不爽的30条职场经验(转)
    等宽字体
  • 原文地址:https://www.cnblogs.com/learn-my-life/p/5636397.html
Copyright © 2011-2022 走看看