zoukankan      html  css  js  c++  java
  • RDMA 相关 简要摘录

    RDMA (Remote Direct Memory Access) 全称为 远程直接内存访问 

    其出现的目的:为了解决网络传输中服务端数据处理的延迟而产生的。其将数据直接从一台计算机的内存传输到另一台计算机,无需双方操作系统的介入。这允许高吞吐、低延迟的网络通信,尤其适合在大规模并行计算机集群中使用。RDMA通过网络把资料直接传入计算机的存储区,将数据从一个系统快速移动到远程系统存储器中,而不对操作系统造成任何影响,这样就不需要用到多少计算机的处理能力。它消除了外部存储器复制和上下文切换的开销,因而能解放内存带宽和CPU周期用于改进应用系统性能。

    RDMA三大特性:CPU offload 、kernel bypass、zero-copy。

    RDMA提供了基于消息队列的点对点通信,每个应用都可以直接获取自己的消息,无需OS和协议栈的介入。

    调用栈:

     

    传统tcp/ip数据流动方式:

    进程 buffer (用户空间)-> socket buffer(内核空间) -> 添加包头(内核空间)-> NIC buffer (网卡设备)-> 网络->接收端反向解析<--

    特点:各层次分工完善,但是数据在传输过程中出现多次拷贝;产生延迟较高,也一定程度上浪费了内存和计算资源;

    网络测试的五项指标:

    • 可用性(availability):可使用ping 命令测试网络是否通畅;
    • 响应时间(response time):ping 命令echo request/reply 一次往返所花费的时间;
    • 网络利用率(network utilization):指的是网络使用时间和空闲时间的比例;
    • 网络吞吐量(network throughput):在网络中两个节点之间,提供给网络应用的剩余带宽,测试网络吞吐的时候,需要在一天的不同时刻来进行测量;
    • 网络带宽容量(network bandwidth capacity):与吞吐不同,网络带宽容量指的是在网络两个节点之间的最大可用带宽。该值是由网络设备本身的能力决定的。

    其中两个最重要的指标是高带宽和低延迟。

    通信延迟 =传输延迟 + 处理延迟;

    处理延迟:发生在消息的发送端和消息的接收端; 传输延迟:发生在消息在发送方和接收方之间网络上;

    通信过程中处理开销主要指:buffer 管理,不同空间的消息复制,消息发送和接收过程中系统的中断;

    网络中传播的消息的种类:

    Large Messages: 此类消息可以理解为:传输大块文件数据;此类模式中,网络传输延迟占整个通信中的主导地位;

    Small Messages: 此类消息可以理解为:传输文件元数据信息;此类模式中,处理延迟在整个通信过程中的主导地位;

    传统TCP/IP存在的问题:

    传统的TCP/IP的问题,主要是IO瓶颈,在高速网络条件下与网络I/O相关的主机处理的高开销限制了可以在机器之间发送的带宽。由上面的数据流动方式,我们可以看到,这里的高开销主要是数据移动和复制操作;主要是传统的TCP/IP网络通信是通过内核发送消息。Messaging passing through kernel这种方式会导致很低的性能和很低的灵活性。性能低下的原因主要是由于网络通信通过内核传递,这种通信方式存在的很高的数据移动和数据复制的开销。并且现如今内存带宽性相较如CPU带宽和网络带宽有着很大的差异。很低的灵活性的原因主要是所有网络通信协议通过内核传递,这种方式很难去支持新的网络协议和新的消息通信协议和发送、接收接口。

    高性能网络通信相关研究:

    • TCP Offloading Engine(TOE):将加解包的工作下移到网卡上,需要特定网卡支持;
    • User-Net Networking(U-Net):将整个协议栈移动到用户空间中,从数据通信路径中,彻底删除内核,带来高性能和高灵活性的提升;

     内核接口只涉及到连接步骤,在传输过程中,减少了数据在用户空间和内核空间的复制;

    • Virtual interface Architecture(VIA):VIA 通过为每个应用进程提供受保护的,对网络硬件进行存取的接口-Virtual Interface,从而消除了传统模式下的系统处理开销;
    • Remote Direct Memroy Access(RDMA)

     RDMA 通过网络,把数据资料,直接传入计算机的存储区,消除了存储器件的赋值和上下文切换开销;其有低延迟,低CPU负载和高带宽三种特性;

    RDMA 操作:

    应用和RNIC之间的传输接口层(software transport interface)被称为Verbs

    Memory verbs: RDMA read、write 和 atomic 操作。这些操作指定远程地址进行操作并绕过接收者的CPU; (单边操作,应用无感知)

    Messaging verbs: 包括RDMA send、receive 操作。动作涉及到响应者的CPU,发送的数据被写入到由响应者CPU先前发布的接收所指定的地址;(双边操作,需应用感知)

    send/receive 多用于连接控制类报文,而数据报文多是通过READ/WRITE 来完成的。双边操作与传统网络的底层Buffer Pool 类似,双方参与的过程并无差别。主要区别在于RDMA的零拷贝和Kernel Bypass。对于RDMA 这是一种负载的消息传输模式,多用于传输短的控制消息;

     RC 表示可靠连接;UC 表示不可靠连接;UD 表示不可靠的数据报,不支持memory verbs;

    RDMA 实现:

     RDMA 目前有三种不同实现:InfiniBand,iWarp(internet Wide Area RDMA Protocol),RoCE(RDMA over Converged Ethernet);

    Infiniband是一种专为RDMA设计的网络,从硬件级别保证可靠传输 , 而RoCE 和 iWARP都是基于以太网的RDMA技术,支持相应的verbs接口。从图中不难发现,RoCE协议存在RoCEv1和RoCEv2两个版本,主要区别RoCEv1是基于以太网链路层实现的RDMA协议(交换机需要支持PFC等流控技术,在物理层保证可靠传输),而RoCEv2是以太网TCP/IP协议中UDP层实现。从性能上,很明显Infiniband网络最好,但网卡和交换机是价格也很高,然而RoCEv2和iWARP仅需使用特殊的网卡就可以了,价格也相对便宜很多。

    Infiniband:支持RDMA的新一代网络协议。 由于这是一种新的网络技术,因此需要支持该技术的NIC和交换机。
    RoCE:允许在以太网上执行RDMA的网络协议。 其较低的网络标头是以太网标头,其较高的网络标头(包括数据)是InfiniBand标头。 这支持在标准以太网基础设施(交换机)上使用RDMA。 只有网卡应该是特殊的,支持RoCE。
    iWARP:一个允许在TCP上执行RDMA的网络协议。 IB和RoCE中存在的功能在iWARP中不受支持。 这支持在标准以太网基础设施(交换机)上使用RDMA。 只有网卡应该是特殊的,并且支持iWARP(如果使用CPU卸载),否则所有iWARP堆栈都可以在SW中实现,并且丧失了大部分RDMA性能优势。

     

     RDMA 结构图:

     RDMA工作过程:

    • 应用执行RDMA读写请求的时候,不需要内核内存参与,RDMA 请求直接从用户空间的应用发送到本地NIC(网卡);
    • NIC 读取缓冲区内容,并通过网络传送到远程NIC;
    • 在网络上传输的RDMA信息,包含目标虚拟地址,内存钥匙和数据本身;请求既可以完全在用户空间中处理(使用主动轮询机制),又可以在应用一直睡眠到请求完成时的情况下,通过系统中断处理。RDMA操作使得应用可以从一个远程应用的内存中(远程应用的虚拟内存)读取数据或者向这个内存中写数据;
    • 目标NIC确认内存钥匙(key),直接将数据写入应用缓存中。用于操作的远程虚拟内存地址包含在RDMA信息中;

    RMDA 中专有名词和对应缩写:

    Channel-IO:RDMA 在本端应用和远端应用间创建的一个消息通道;

    Queue Pairs(QP):每个消息通道两端是两对QP;

    Send Queue(SQ): 发送队列,队列中的内容为WQE;

    Receive Queue(RQ):接收队列,队列中的内容为WQE;

    Work Queue Element(WQE):工作队列元素,WQE指向一块用于存储数据的Buffer;

    Work Queue(WQ): 工作队列,在发送过程中 WQ =  SQ; 在接收过程中WQ = WQ;

    Complete Queue(CQ): 完成队列,CQ用于告诉用户WQ上的消息已经被处理完成;

    Work Request(WR):传输请求,WR描述了应用希望传输到Channel对端的消息内容,在WQ中转化为 WQE 格式的信息;

    参考链接:

    https://blog.csdn.net/qq_21125183/article/details/80563463

    保持更新,资源来源于对网上资料总结,如果对您有帮助,请关注 cnblogs.com/xuyaowen .

  • 相关阅读:
    ATM+购物车项目
    python基础语法13 内置模块 subprocess, 正则表达式re模块, logging日志记录模块, 防止导入模块时自动执行测试功能, 包的理论
    kvm ip查看
    tar 排除某个目录
    MySQL5.7 添加用户、删除用户与授权
    tomcat 自带jdk
    django examples 学习笔记(1)创建一个独立的python环境
    cdh 安装组件 异常总结
    pycharm ubuntu安装
    (cdh)hive 基础知识 名词详解及架构
  • 原文地址:https://www.cnblogs.com/xuyaowen/p/rdma-intro.html
Copyright © 2011-2022 走看看