云计算百科
云计算领域专业知识百科平台

深入浅出 Soft-RoCE:从源码剖析软件模拟 RDMA 的三阶段生命周期

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */
#content_views .toc,
/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */
#content_views.markdown_views > p:empty:has(+ .toc),
#content_views.markdown_views > .toc + p:empty,
/* 富文本旧版目录标记 */
#content_views.htmledit_views #main-toc,
#content_views.htmledit_views #hr-toc,
#content_views.htmledit_views p[id*=\”-toc\”] {
display: none !important;
}
/* 目录去掉后,紧跟的首个标题不再多出一块上边距 */
#content_views.markdown_views > .toc + h1,
#content_views.markdown_views > .toc + h2,
#content_views.markdown_views > .toc + h3,
#content_views.markdown_views > .toc + h4,
#content_views.markdown_views > .toc + p:empty + h1,
#content_views.markdown_views > .toc + p:empty + h2,
#content_views.markdown_views > .toc + p:empty + h3,
#content_views.markdown_views > .toc + p:empty + h4 {
margin-top: 0 !important;
}

在追求高性能网络时,RDMA(Remote Direct Memory Access)因其“零拷贝”和“内核旁路”特性备受瞩目。然而,并非所有人一开始都能拥有真实的 RDMA 网卡(HCA)。Soft-RoCE(RXE) 允许我们在普通以太网上用纯软件模拟 RDMA 协议栈,既保留了 Verbs 接口的编程语义,又降低了学习门槛。

本文将以一份自包含的 RDMA 测速源码 xfer-rdma.c 为例,在纯软件模拟环境下,把 RDMA 的生命周期拆解为三个阶段:连接建立(控制面)、数据传输(数据面)、连接断开。带你彻底搞懂软件协议栈下 QP 状态流转、内存凭证交换以及那些“让人抓狂”的阻塞点。


一、 核心资源前置知识

在纯软件模拟的 RDMA 中,没有硬件直接帮你 DMA,底层全依赖内核协议栈或用户态轮询。但应用的编程接口依然是三大核心组件:

  • QP (Queue Pair):传输端点,包含发送队列(SQ)和接收队列(RQ),应用将工作请求(WR)挂载于此。
  • CQ (Completion Queue):完成队列。软件协议栈处理完 WR 后,往 CQ 塞入完成事件(CQE),应用通过 poll_cq 自旋获取。
  • MR (Memory Region):注册内存。在软件模拟下,注册是为了锁定物理内存并生成 lkey/rkey 供软件协议栈校验。

注意:单边与双边操作的软件差异

  • 双边(SEND/RECV):发送方发 SEND,接收方必须预先挂载 RECV。因为软件协议栈在收到 SEND 包时,如果没有在 RQ 找到对应的坑位,就会直接丢包并返回 RNR NAK。
  • 单边(WRITE/READ):发送方直接带上目标内存的 addr 和 rkey。软件协议栈收到后直接把数据拷贝进目标内存,不需要对端应用预先挂载 RECV。

二、 阶段一:连接建立(控制面)—— 阻塞与状态流转

RDMA 的连接建立由 CM(Connection Manager)负责。在软件模拟下,这一阶段充满极易踩坑的同步阻塞和 RNR 风险。

在这里插入图片描述

1. 资源初始化与 dummy 投递

客户端首先创建端点(rdma_create_ep),此时 QP 处于 RESET 状态。接着,客户端 malloc 大块内存并用 rdma_reg_write 注册拿到 rkey。
关键前置动作:客户端注册了一个 dummy 内存,并立刻执行了 rdma_post_recv。因为稍后服务端发来的 IMM 通知,在软件协议栈中必须消耗一个 RQ 坑位才能生成 CQE,软件是不会凭空帮你造一个完成事件的。

2. 深度阻塞点:rdma_get_request()

  • 客户端调用 rdma_connect() 发出 REQ。
  • 服务端调用 rdma_get_request(listen_id, &id)。
  • 软件模拟视角的深度解析:在真实的硬件网卡上,REQ 是网卡处理的;但在 RXE 环境下,rdma_get_request 内部会完全阻塞(Block)。它相当于在一个条件变量或事件通道上死等,直到底层的 CM 模块通过 TCP/IP 或 UDP 报文收到客户端的连接请求,并在系统内核中建立起对应的 CM ID,才会唤醒返回。如果客户端迟迟连不上(比如防火墙拦截或启动慢),服务端进程就会在这行代码上一直挂起。

3. 为什么必须先 post_recv 再 accept?

在源码中,顺序极其严格:

info_mr = rdma_reg_msgs(id, &peer, sizeof(peer));
rdma_post_recv(id, NULL, &peer, sizeof(peer), info_mr); // 必须先在软件队列里挂好坑
rdma_accept(id, &ap); // 再回复客户端

为什么? 一旦服务端调用了 accept,客户端收到 REP 后就会立刻把 {addr, rkey} 作为凭证(SEND 操作)发过来。如果服务端此时 RQ 是空的,软件协议栈在收到这个 SEND 包时会发现无处安放,直接回一个 RNR NAK(Receiver Not Ready)。
在软件模拟下,RNR 重试的代价极大——每次重试都伴随着上下文切换和软件包的重新发送。如果不预先 post_recv,极其容易导致重试超时并直接毁链。先挂好 RQ,才能保证凭证安全落地。

4. 状态迁移与凭证交换

服务端调用 accept 后,底层驱动修改 QP 状态:INIT -> RTR(可接收) -> RTS(可发送)。客户端收到 REP 后,同样把 QP 迁移至 RTS。
随后客户端通过 rdma_post_send 把 {buf_addr, rkey} 发出,服务端通过轮询 poll_cq 收下这条 SEND 报文,连接正式建立。


三、 阶段二:数据传输(数据面)—— 软件拷贝与 IMM 通知

握手完成后,服务端拿到了客户端的 addr 和 rkey,准备传输大文件。

在这里插入图片描述

1. 单边 RDMA 直写(无对端 CPU 参与)

服务端读取文件并注册本地内存。构造 IBV_WR_RDMA_WRITE_WITH_IMM 请求并 ibv_post_send。
在 RXE 模拟下,网卡不存在了,取而代之的是内核线程或异步的工作队列。内核会读取服务端的本地内存数据,封装成网络包。客户端侧的应用进程完全无感知,客户端的底层软件协议栈收到包后,按 rkey 校验通过,然后直接通过 memcpy 将数据拷贝到客户端内存。

2. 软件 ACK 与 send CQE

在可靠连接(RC)模式下,客户端的软件协议栈收到数据后,会通过底层的网络通道回复一个 ACK。
服务端的 ibv_poll_cq(id->send_cq) 轮询到这条 CQE,代表“对端软件协议栈确已收到并处理”,这是真正的端到端确认。

3. 消耗 IMM 坑位

数据传完的最后,服务端发出的网络包携带 IMM。
客户端的软件协议栈收到 IMM 后,消耗掉之前预挂载的 dummy recv WQE,在 recv_cq 中生成一个 CQE。客户端应用通过 poll_cq 读取 wc.imm_data,得知传输完成,并读出文件大小。

避坑指南:为什么在软件模拟中,一定要“先连后读文件”?
源码中先 connect,再 fread 大文件,这是一个极佳的实践。软件模拟的 RDMA 依赖 CPU 资源,如果你先读几百 MB 的文件,花费了大量时间,导致底层协议栈迟迟没有去 accept。客户端发来的 REQ 早就超时重发或丢弃了。所以,先打通底层通道,把本地 I/O 准备放在握手之后,在软件环境中极大地提高了连接的稳定性。


四、 阶段三:连接断开 —— 优雅退场

在 RXE 环境下,如果不调用 disconnect,内核中的 QP 资源、CQ 资源会一直驻留,导致严重的内存泄漏。

在这里插入图片描述

1. 显式断开与资源冲刷

双方先注销内存(rdma_dereg_mr)。随后任意一端调用 rdma_disconnect():

  • 软件协议栈立刻将本地 QP 置为 ERROR 状态,并遍历 SQ 和 RQ 队列,将里面所有没处理完的 WQE 统统标记为错误,放入 CQ(此时应用如果在 poll_cq 会拿到 IBV_WC_WR_FLUSH_ERR)。
  • 通过底层控制通道(如 UDP 端口)发送 DREQ 断开请求,对端回复 DREP。

2. 销毁端点

握手完成后,双方调用 rdma_destroy_ep()。这一步会销毁 QP、CQ 和 PD,彻底释放软件协议栈中的队列内存和状态机。服务端最后摧毁 listen_id,关闭所有通讯通道。


五、 总结

在纯软件模拟(Soft-RoCE)的环境下跑通并理解 RDMA,不仅需要懂其优雅的“异步与单边”模型,更需要敏锐地感知底层的阻塞点与 CPU 资源消耗。

回顾源码,从 rdma_get_request 的深度阻塞,到利用 post_recv 预挂坑位防 RNR,再到利用 poll_cq 纯自旋死等 CQE,每一步都是在没有硬件加速庇护下的“刀尖起舞”。理解了这套生命周期,未来当你真正接入硬件 RDMA 网卡(HCA)时,便能一眼看出软件与硬件卸载的分界,更加游刃有余。


赞(0)
未经允许不得转载:网硕互联帮助中心 » 深入浅出 Soft-RoCE:从源码剖析软件模拟 RDMA 的三阶段生命周期
分享到: 更多 (0)

评论 抢沙发

评论前必须登录!