基于Corundum架构的100G RDMA网卡设计-德赢Vwin官网网

三年前的2020年5月12日，我们分享了一篇有关100G开源网卡的文章《【干货】寻找开源100G NIC Corundum中的隐藏BUG等。大概两年前，我们决定基于开源的Corundum架构研制100G RDMA网卡，终于目前有了稳定的一版，以下是详细介绍，欢迎大家留言讨论指导。

传统TCP/IP技术处理数据包需通过操作系统和其他软件层，导致数据在系统内存、处理器缓存和网络控制器缓存间频繁复制，增加了服务器CPU和内存的负担，特别是在网络带宽、处理器速度与内存带宽不匹配时，网络延迟会进一步加剧。RDMA技术通过将数据处理从CPU旁路并卸载到硬件上来实现低时延和高带宽特性。

基于这一研究背景，介绍一种具备RDMA功能的FPGA网卡实现方案—RNIC 。本方案以Corundum开源高性能原型平台为基础, 实现了100Gbps的RoCE v2网络协议栈卸载加速；在保留Corundum原生PCIe DMA引擎等组件的基础上，通过精准的拆分设计、逻辑耦合和路径复用，将RoCE v2网络协议栈嵌入以太网网卡设计。方案支持单边RDMA READ和RDMA WRITE操作、双边SEND/RECV操作以及立即数操作，提供Back-to-N的重传机制保障数据传输完整性的同时提供了可达256的Outstanding能力, 并支持基于DCQCN算法的拥塞控制机制为本方案在数据中心等场景的大规模部署提供保障。实测RNIC能够实现低至4us左右的硬件端到端延迟以及高达96Gbps的吞吐量。

我们实现的100G RDMA网卡具体指标和性能如下：

测试场景及拓扑连接图如下。

TCP测试结果如下。

TCP性能表现：实测在Linux系统环境下，端到端连接拓扑，当MTU=9214B，不进行多核优化时，本方案的iperf TCP带宽可达59.7G bps；CPU占用率为12%左右 ; TCP/IP协议普遍延迟在100–200微秒之间。

TCP测试分析：性能开销集中在内核协议栈的系统调用、内存拷贝、协议处理与中断处理等方面。这些开销占用了大量的CPU 资源，增加了数据延迟。

RDMA测试结果如下。

RDMA性能表现：在Linux系统环境下，相同测试拓扑，使用配套驱动程序和应用程序发送RDMA命令进行测试。本方案的RDMA网卡实测单边RDMA语义读写带宽可达96.28G bps；CPU占用率不超过0.3%；硬件端到端读写延迟低至4us左右。

RDMA测试分析：当消息大小大于8KB时，系统吞吐量可以逼近满带宽，当消息较小时，吞吐量会显著降低。原因一方面是数据帧帧头开销占比上升导致有效带宽下降，另一方面在于硬件设计无法支撑更高的消息速率。时延会随消息大小出现近似线性的增长，最大的延迟花费在PCIe链路和网络链路上，硬件的处理开销占比很小。

对比以太网和RDMA的测试结果可知，在相同的硬件条件下，使用RDMA技术的网卡可以拥有更高的网络带宽和更低的传输时延，对于云服务、数据中心等具有高吞吐量的网络业务需求场景，RDMA技术更能满足实际需要，能充分解放处理器资源，提高带宽，降低成本。

下面视频详细介绍实际测试情况：

我们未来有很多工作要做，如添加我们之前做的P4可编程的工作（【Verilog开源】一种用于智能网卡或可编程交换机的，支持P4语言的高性能开源解析器的设计），突破Corundum架构限制支持百万QP对和提升小包性能，进一步优化流量控制、拥塞管理和负载均衡等问题，进一步的提高数据中心网络的数据传输速率和稳定性。

审核编辑：汤梓红

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

内存

内存

+关注

关注
8

文章
3019

浏览量
74000
网卡

网卡

+关注

关注
4

文章
307

浏览量
27374
Verilog

Verilog

+关注

关注
28

文章
1351

浏览量
110073
开源

开源

+关注

关注
3

文章
3309

浏览量
42470
RDMA

RDMA

+关注

关注
0

文章
77

浏览量
8945

原文标题：基于Corundum架构的100G RDMA网卡

文章出处：【微信号：HXSLH1010101010，微信公众号：FPGA技术江湖】欢迎添加关注！文章转载请注明出处。

解密100G QSFP28光模块种类、解决方案

是：一定码率的光信号输入模块后由光探测二极管转换为电信号。经前置放大器后输出相应码率的电信号。100G QSFP28光模块的应用光模块广泛运用于交换机，路由器，服务器网卡等设备上。 100G

发表于 12-27 14:25

100G光模块专题：100G光模块概述、优点和应用

`用户对数据传输需求的增长，意味着光通讯供应商不能只停留在25G、40G这些数据传输阶段。近两年来，由于光学行业以“100G网络部署”为中心进行发展，100G光模块在数据中心市场上得以

发表于 01-30 14:10

什么是100G光模块？介绍：100G光模块标准、参数、优势

`100G光模块的应用，光通信、数据中心的发展，两者的结合使得光传输得到了极大的提升。但是，什么是100G光模块？100G光模块有什么标准？有哪些参数？相比其他类型的光模块有哪些优势？再有10

发表于 03-09 15:37

100G AOC有源光缆和100G高速线缆有什么区别？

`我们知道，100G有源光缆AOC和100G高速线缆都有着传输数据的作用。但是，100G AOC有源光缆和100G高速线缆之间又存在着一定的区别。易飞扬通信将在这里为大家详细介绍一下

发表于 03-19 14:50

什么是100G SR4光模块？100G SR4有哪些特性、优点和应用？

`光通信市场的快速发展，因用户需求和市场的缺口，高速率光模块在不断诞生。从低速10G到现在的100G/200G也不过是短短几年的时间。但是，在大家的目光都聚焦在200G甚至400

发表于 05-23 14:53

数据中心100G QSFP28光模块优势

6W到24W之间。由此看来，QSFP28光模块要比其他100G光模块的功耗要低得多。成本现在的数据中心主要是10G网络架构，其互连解决方案主要是10G-SR光模块和双工LC多模光纤跳线

发表于 07-06 14:37

如何实现100G光传送网？

供应商、企业以及服务提供商认为100G系统最终会在市场上得到真正实施。推动其实施的主要力量是用户持续不断的宽带需求。各种标准组织正在制定传送网和以太网以及光接口100G标准。对于希望在标准发布之前，先期设计100G系统的开发人员

发表于 11-07 07:25

光通信主流100G光模块浅析

，多个光通信国际标准组织积极制定100G相关标准，涵盖100G以太网接口、光器件、光模块、OTN 成帧、系统架构等领域。IEEE 802.3ba涵盖40/100G 以太网接口标准，并于

发表于 12-06 14:27

普通电脑换上Xilinx Alveo U50 100G网卡传文件会有多快

高性能数据中心的网络演进趋势开源100Gbps NIC（Corundum）架构简介基于流水线的队列管理基于Xilinx Alevo U50和VCU118 板卡的测试

发表于 01-28 07:14

如何选择最适合自己的RDMA网卡

近些年来，RDMA网卡的技术应用在全球以太网通讯市场上刮起一股旋风，特别是阿里、腾讯、浪潮、超微、联想等一些互联网巨头企业在服务器上大量部署RDMA网卡。2019年，据官方数据报道，天

发表于 10-21 15:35 •715次阅读

开源100 Gbps NIC Corundum环境的搭建

Corundum是一个基于FPGA的开源原型平台，用于高达100Gbps及更高的网络接口开发。Corundum平台包括一些用于实现实时，高线速操作的核心功能，包括：高性能数据路径，10G

发表于 08-02 08:03 •2144次阅读

100G DSFP网卡+100G DSFP AOC解决方案

基于数据中心高吞吐和大带宽的发展趋势，服务器网卡和接入交换机都在往下一代100G接口演进。下一代100G接口与现阶段大规模使用的QSFP28接口最直接的区别在尺寸上，下一代100G接口

发表于 09-14 17:08 •2061次阅读

什么是100G QSFP28单波光模块

目前流行的100G光学标准，如100G SR4、100G LR4、100G CWDM4、100G PSM4、

发表于 09-16 10:54 •2566次阅读

25G/100G网卡选购指南

升级成为了发展的必然趋势。尽管目前10G和40G还占据着大部分的以太网端口市场，但未来对25G和100G的需求将会比以往任何时候都要强烈，因为高带宽不可否认地正推动着数据中心朝着更高扩

发表于 09-26 15:01 •2041次阅读

寻找开源100G NIC Corundum中的隐藏BUG

Corundum是一个基于FPGA的开源NIC原型平台，用于高达100Gbps及更高的网络接口开发。

发表于 05-23 14:57 •1461次阅读