企业存储技术 · 2020年09月15日

PCIe Switch Adapter:不只是NVMe HBA?

前几天有朋友提到,某款标称5400RPM(每分钟转数)的HDD硬盘,实际上是7200 RPM。今天又看到国外网站上用声音(噪声)测试来判断的方法。

image.png

由于对硬盘的感情,我本来也想就此写点东西,并且我还想提出另外2种更简单的测试(判断硬盘转速)方法,其中一种是破坏性的:)

但因为时间和精力实在不够,上面这个话题只能先搁置了。今天写给大家的东西,实际上也已经拖了一段时间…

NVMe Switch Adapter:I2C bus负责LED点灯

image.png

_基于48 (50)lane PCIe Switch的设计,上下行带宽比是1:2_。

在写《PCIe 4.0 SAS+NVMe RAID/HBA__卡:最高读IOPS300__万、写24__万》的时候,我已经注意到Broadcom这款P411W-32P NVMe Switch Adapter。其实原理很简单,大家可以把它近似看作PCIe Switch卡。

image.png

从照片和图表中不难看出P411W-32P用的芯片是PEX88048(从PLX收购来的产品线),48 lane PCIe 4.0 Switch(严格说应该是50 lane)。主机插槽为x16,连接SSD或背板的是4个x8的SFF-8654接口。在不级联下一个PCIe Switch的情况下,最多可以拆分为32个PCIex1来连接SSD(此时牺牲了单盘带宽)。

大家知道LSI的传统强项是MegaRAID SAS和HBA,如今已发展到兼容NVMe的Tri-Mode三模接口,但传统RAID架构的始终无法让PCIe SSD性能充分发挥。Broadcom推出这款“NVMe HBA”可能多少有点无奈之举吧?其实同类产品已经很多了。

image.png

上面照片最早出现在5年前的《服务器设计进化:戴尔R930__跨代对比之存储篇》一文中,曾经我还以为卡上的芯片只是一颗PCIe retimer,但实际上看散热片就是PCIe 3.0 Switch了。Switch交换芯片从信道拆分等兼容性上还是要比retimer更好。当时这块卡是用来线速支持前面板的4个热插拔U.2 NVMe SSD。

image.png

前面提到过原理,Broadcom P411W-32P如果直连标准U.2 NVMe x4 SSD通常是8块盘。根据背板上连接器的不同,可能需要使用1分2的线缆。上图中的红色连线示意I2C bus,毕竟存储这个用途需要考虑管理,特别是热插拔和LED点灯。

相比之下,服务器大厂(OEM)的玩法,当前可以说还有些不同。我再从《直联还是交换?Intel__、AMD__服务器NVMe SSD IO__拓扑速查手册》中引用2张图:

image.png
Dell PowerEdge 14G服务器使用的PCIe Extender card上下行接口都是x16(这一代Intel平台还是PCIe 3.0)。因为有时是搭配直通背板,而有时则是下面这种带Switch Daughter card的扩展背板。

image.png

更多品牌的“NVMe HBA

下面我再给大家介绍一位朋友做的NVMe Switch Adapter品牌,其性价比可能比Broadcom原厂卡要高一些。在给出的链接里,也有specsheet(测试报告)的下载。

https://www.amazon.com/DiLiVi...\_=ast\_sto\_dp

image.png

这款卡的型号是LRNV9324-4I,PLX PEX8724主控自然比前面的便宜,主机插槽为主流的PCIe3.0 x8,4个SFF-8643接口用来连接SFF-8639(U.2)NVMe SSD。上下行接口带宽也是1:2。

image.png

在测试报告中,有SSD单盘性能,也有Windows下做了Striped Volume(带区卷,软RAID0)的测试——如上图,就是证明下确实能跑出PCIe 3.0 x8的水平。

image.png

除了直连SSD、背板之外,既然是PCIe Switch也可以用于扩展连接显卡等。比如在主板插槽有限的情况下,实现多显卡屏幕拼接方案,或者是挖矿啥的?

image.png

这个品牌也有高端型号LRNV9349-8I,这里的主控芯片就是48 lane PCIe Switch了。除了支持的PCIe速率,与前面介绍的P411W-32P还有一点差别,就是连接器仍然是传统的SFF-8643。一些白牌服务器/渠道经销商使用的机箱,背板接口应该还有许多尚未更新到高密的x8,两头SFF-8643的线缆也比较普及。

Multi-Host PCIe Switch模式

最后我再引用一段网站上的英文介绍:

LRNV9324-4I NVMe Series is PCI Express x8 Gen3 Multi-Host PCI-e switchCard. It offers Multi-Host PCI Express switching capability that enables usersto connect multiple hosts to their respective endpoints via scalable, high-bandwidth, non-blockinginterconnection to a wide variety of applications including servers, storage,communications, and graphics platforms. The LRNV9324-4I employs an enhancedversion of PLX’s field tested PEXPCIe switch architecture, which allows usersto configure the device in legacy single-host mode or multi-host mode with up to six host portscapable of 1+1 (one active & one backup) or N+1 (N active & one backup)host failover. This powerful architectural enhancement enables users to build PCIe based systems tosupport high-availability, failover, redundant, or clustered systems.High Performance & Low Packet Latency The LRNV9324-4I architecture supportspacket cut-thru with a latencyof less than 130ns between symmetric(x8 to x8). This combined with largepacket memory, flexible common buffer/FC credit pool and non-blocking internalswitch architecture, provides full line rate on all ports forperformance-hungry applications such as servers and switch fabrics. The lowlatency enables applications to achieve high throughput and performance and supportsa packet payload size of up to 2048 bytes, enabling the user to achieve even higher throughput.

多主机连接,属于PCIe Switch的高级用法吧。如果是传统双控存储那样的2节点间PCIe连接,Intel CPU现在也支持NTB(非透明桥接),不见得要通过PCIe Switch。但总有特殊一些的用途,比如连接2个以上的主机,在一个机箱内的节点互连/切换等。Multi-Host卡支持这个功能,而具体的软硬件系统设计又是另一个层面了。

推荐阅读

本文转载自企业存储技术微信公众号原文链接点这里

注:本文只代表作者个人观点,与任何组织机构无关,如有错误和不足之处欢迎在留言中批评指正。 进一步交流技术可以加我的微信/QQ:490834312。
尊重知识,转载时请保留全文,并包括本行及如下二维码。感谢您的阅读和支持!《企业存储技术》微信公众号:HL_Storage,也欢迎关注企业存储技术极术专栏,定期更新。
42.jpg

推荐阅读
关注数
5608
内容数
260
关注存储、服务器、图形工作站、AI硬件等方面技术。WeChat:490834312
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息