RDMA 技术有好几种规范来达到：
InfiniBand: 这是正统，InfiniBand 设计之初就考虑了 RDMA，InfiniBand 从硬件级别保证可靠传输;iWARP: 基于 TCP or SCTP 做 RDMA，利用 TCP or SCTP 达到可靠传输，对网络设备的要求比较少;RoCE: 基于 Ethernet 做 RDMA，消耗的资源比 iWARP 少，支持的特性比 iWARP 多，需要FCoE做可靠传输。从wikipedia的评价看 RoCE 还是比正统的 InfiniBand 差点。
上面三种实现都是需要硬件支持的，IB 需要支持 IB 规范的网卡和交换机，iWARP 和 RoCE 都可以使用普通的以太网交换机，但是需要支持 iWARP 或者 RoCE 的网卡。软件上 Solaris、Linux、Windows 都有支持，在 API 层面这篇文章有个入门的介绍：Introduction to Remote Direct Memory Access (RDMA) ，可以使用 http://www.openfabrics.org/提供的 libibverbs 库(Debian Linux 有提供)，这个库似乎也支持 Windows 上的原声 RDMA API "Network Direct"。另外也有一些其它 API 规范，比如 DAT 组织制定的 kDAPL(让 kernel driver 可以访问 RDMA 功能) 和 uDAPL(让 user space 进程可以访问 RDMA 功能), OpenGroup 制定的 IT-API 和 RNICPI:
https://software.intel.com/en-us/articles/access-to-infiniband-from-linuxhttp://www.zurich.ibm.com/sys/rdma/interfaces.htmlhttp://rdma.sourceforge.net/
另外 IETF 制定了 iSCSI Extensions for RDMA(iSER) 和 SDP(Sockets Direct Protocol, 基于 RDMA 替换 TCP 的流式传输层协议, RDMA 本身提供了可靠传输机制) 两个协议。Java 7 引入了对 SDP 的支持: https://docs.oracle.com/javase/tutorial/sdp/sockets/index.html，Apache Qpid 消息队列也支持 RDMA：https://packages.debian.org/sid/librdmawrap2 .
如果 NVMe 存储系统与主机是分离的，显然需要某种 fabric 把它们连接，这样主机才能使用存储系统。目前，支持远程连接的 fabric 包括：
RDMA 协议：底层可以是以太网（ RoCE 或者 iWARP ）或者 Infiniband Fibre Channel 协议：底层可以是 FC 网络或者以太网（FCoE）
一、为什么需要 RDMA ？
RDMA (Remote Direct Memory Access) 是一种绕过主机 (host-offload/host-bypass) 技术：一个应用（包括存储）<--发送/接收数据-->另外一个（远程）应用的内存空间。
Source Application <-- （发送/接收、完成）队列 --> 带 RDMA 功能的网卡 <-- 可靠的网络连接 --> 带RDMA 功能的网卡 <-- （发送/接收、完成）队列 --> Target Application
由上图可知，应用程序可以从一台
（物理的或者虚拟的）机器直接传送数据到另外一台机器，这既提高了带宽又降低了延迟、抖动和 CPU 消耗。
各种操作系统支持 RDMA ：
Windows Server: 从 Windows HPC Server 2008 开始支持 Network Direct userspace API ；从 Windows Server 2012 开始支持 Network Direct kernel API Linux: 从2004年开始，由 OpenFabrics Alliance 提供 userspace/kernel API ， RHEL 和 SLES 已经自带， Ubuntu 要自己安装？ FreeBSD 9.0+ 支持 OpenFabrics Alliance userspace/kernel API
具体来说， RDMA 技术特性带来的好处如下图所示：
NVMe 设备延迟很低，这就要求网络延迟也必须很低， RDMA 正好满足这一点。
二、用 RDMA 发送 NVMe 写命令
以一个 NVMe 写操作为例。 NVMe 主机驱动把写命令
及数据（从 NVMe 提交队列取出一项）封装一个与底层传输无关的命令胶囊（capsule）；胶囊被放到主机 RDMA 网卡的发送队列中，由 RDMA_SEND 发送出去；目标主机的 RDMA 网卡在接收队列中收到这个胶囊，解除封装，把 NVMe 命令及数据放到目标主机的内存中；目标主机处理 NVMe 命令及数据；完成后，目标主机封装一个 NVMe 命令完成项，由 RDMA 传输到源主机。
三、两种基于以太网的 RDMA 协议
第一种：以太网->IP->UDP->RoCE (RDMA over Converged Ethernet) v2
第二种：以太网->IP->TCP（去掉 TCP/IP 流量控制和管理）->iWARP
不同协议的网卡之间并不兼容，也就说支持 RoCE 协议的网卡不能与支持 iWARP 协议的网卡交换数据。
两种协议的供应商上台系统不一样，
对底层网络基础设施的要求也不一样：
了解更多细节，
【1】How Ethernet RDMA Protocols iWARP and RoCE Support NVMe over Fabrics https://www.brighttalk.com/webcast/663/185909