NVMe-oF以太网SSD：三星说第一家，东芝/Marvell两年前就有了？

-到底谁是第一款原生NVMe-oFSSD？

-连接方案&性能测试

-从2019年拖到现在：还能引领存储系统潮流吗？

-以太网SSD应用：不只是块设备？

在ODCC 2021开放数据中心峰会上，三星展出了Ethernet（以太网）SSD，这可能是它的实物第一次公开亮相。

现场静态展示的Demo，是把这个U.2尺寸的Samsung Ethernet SSD放在一台有点老的Dell台式机里。具体来说是插在一块转接卡上，在后部I/O挡片处提供以太网接口。而这个转接板插在传统32位PCI白色插槽内，从下面主要是取电。

上面的照片，位于SFF-8639连接器相反的另外一侧，这里可以看到三星以太网SSD用于调试的金手指。

到底谁是第一款原生NVMe-oF SSD？

三星宣称自己是“世界第一个原生以太网SSD”。以太网链路是双端口25G（向下兼容10G），我理解这个速率比较匹配U.2双端口PCIe 3.0（x2）NVMe SSD；如果想达到PCIe 4.0双端口NVMe的性能，用将来的50GbE IP合适。

具体到协议，看起来基于RDMA（RoCE v2、iWARP）和NVMe over TCP三种传输层的NVMe-oF都支持。做为一个目标端块设备，支持超过500个主机连接数。

记得我在《NVMe-oF__三种协议（FC__、RDMA__、TCP__）对比：成败不只看性能》中提到过Marvell转接NVMe SSD到25Gb以太网NVMe-oF的88SN2400芯片，如上图，这个确实不是原生方案。但我又仔细翻了一下之前的新闻，Marvell/东芝在2019年前后还宣布过另一款单芯片NVMe-oF SSD控制器，以及固态盘样品。

如上图，Marvell 88SS5000 NVMe-oF SSD控制器（也是双端口25GbRoCE）和东芝对应的SSD。但这款产品后来好像没什么动静，不知是技术原因，还是与公司变成Kioxia有关。关于东芝使用Marvell主控方面的合作，至少可以追溯到SAS SSD时代了。

以上资料截自Marvell® 88SS5000 NVMe-oF™ SSD Controller的Product Brief，首先可以看出这颗芯片里有4核Cortex-R5 ARM，我想三星新发布的以太网SSD计算能力可能要比这个高？

Marvell控制器支持64 Virtual Functions（我理解应该是NVMe的Namespace），总共132个队列对，每个队列深度应该是256 outstanding I/O。

下面我引用一下《ODCC-2021-05008 Ethernet SSD测试白皮书（英文版）》里面列出的三星详细参数，供大家参考：

3.2.1. NVMe 特性

⚫ Support NVMe v1.2
⚫ Support NVMe-oF v1.0
⚫ Support for up to 1024 NVMe queue pairs (QP)
⚫ Support for up to 128 namespaces per drive
⚫ Limited to 16 namespaces perdrive if reservations are managed by the Bridge
⚫ Up to 64 entry submission queue(SQ) depth
⚫ Up to 8K Work Queue Entries
⚫ Number of QP*SQ depth must beless than 8K

3.2.2. RDMA 特性

⚫ iWARP，RoCE（v1, v2）in hardware
⚫ Support for up to 1024 iWARP orRoCE QPs
⚫ TCP Offload Engine in HW（iWARP）

3.2.3. Ethernet 特性

⚫ Dual port 25GbE
⚫ Two ports at the same speed
⚫ Up to 8 MAC addresses
⚫ 4K VLAN addresses per port
⚫ Up to 1024 source IP addresses of IPv4/IPv6
⚫ 8 destination IP addresses ofIPv4/IPv6
⚫ HW Link Aggregation

3.2.4. 网络服务

⚫ ICMP
⚫ ARP
⚫ SNTP
⚫ LLDP

3.2.5. 外围

⚫ SPI Flash interface forfirmware
⚫ 3&4 byte addressing
⚫ 2 I2C/MDIO ports for managingEthernet link modules or connecting to BMC
⚫ 1 general purpose I2C port
⚫ 8 GPIO pins for configurabilityand feature set control

3.2.6. 企业级数据保护

⚫ All data paths have overlappingparity protection
⚫ All memories are ECC protected
⚫ All errors will be logged to aninternal log buffer
⚫ Internal log buffer isperiodically written to external Flash
⚫ An immediate write to flash isperformed in the event of a non-recoverable error
⚫ Dual images are stored inexternal flash
⚫ Images protected by CRC

连接方案&性能测试

ODCC大会上现场展示方案中，交换机是Broadcom的。以太网信号直接从SFF-8639/9639（U.3）连接器上走，未来应该是配合EBOF的背板比较多。客户端服务器用谁家的倒是无所谓。

三星以太网SSD的性能测试结果还不错，128K顺序读写都超过了2GB/s（应该是受限于25GbE），4K随机读IOPS 669K，随机写IOPS 139K。

从2019年拖到现在：还能引领存储系统潮流吗？

有图有真相

有点戏剧性的是，其实三星早在2019年的SNIA SDC印度会议上就介绍过NVMe-oF Ethernet SSD，其中资料居然和今天讲的大多一致。大家先跟着往下看，结尾处我会把2个文档都共享出来。

上图中列出2种“当前的NVMe-oF JBOF方案”，我理解左边类似于一个单控闪存阵列了（具体是否实现RAID功能不确定）；而右边基于SoC/SmartNIC相对简洁的设计在今天被称为EBOF，就像《NVMe-oF E-JBOF__设计解析：__WD RapidFlex__网卡_ _& OpenFlex Data24》。

以NVMe SSD低于100µs的延时水平，NVMe-oF增加10µs比较合适，iSCSI的开销太大。我发现当年三星还想着Z-NAND SSD over NVMe-oF，今天好像暂时没提。

所谓的桥接NVMe-oF方案，这里指用一颗SoC转接（后面提到是FPGA），其实Marvell 88SN2400已经是ASIC了。当然还是原生NVMe-oF更简单高效。

三星指出，与FPGA板转接NVMe-oF相比，原生NVMe-oF可以降低20%延时，并且成本和功耗都较低。不过Ethernet SSD比普通NVMe盘贵多少，我还不清楚。

上图有点像存储系统后端的演进方向。传统磁盘/闪存阵列多采用SAS后端，到NVMe SSD时代中高端产品开始支持PCIeSwitch和JBOF来扩展（Dell EMC PowerMax），未来EBOF也可能会更多出现在软件定义的分布式存储系统中。

比如现有的中高端闪存阵列，Scale-out扩展是以控制器对的形式。如果换成以太网SSD，只要是交换机能连到的地方，系统的扩展规模可以更大。前端如果放控制器机头，也可配置成一个更大的Shared-Everything。

OCP FX-16闪存扩展机箱都是现成的，把PCIe Switch Board换掉，EBOF里面除了ESSD，2个以太网交换机模块，还有BMC管理就好了。