企业存储技术 · 2023年08月10日

雷电存储性能 & USB4 P2P 20Gbps网络测试浅析

引言:如今市面上大多数中高端笔记本、移动工作站都标配了雷电4 Type-C接口,人们用它连接显示器、给笔记本供电、通过扩展坞转接USB Type-A接口等。但也许80-90%的用户(也包括我在内)并没有把Thunderbolt的全部潜力都发挥出来。还有什么玩法呢?

扩展阅读:《6K显示器 & 新一代接口:DP 2.0、HDMI 2.1、雷电4应用解析

前一段有位朋友问我Thunderbolt雷电接口的实际带宽性能,忽然意识到自己好像还真没仔细测过?

当时我简单回复了一个20Gb/s(注意是bit,不是Byte),为什么不是40Gb/s呢?因为之前有个项目帮客户解决雷电P2P双机直连网络的问题,那个网络连接标称的速率就是20Gbps。记得当时的测试环境应该还包含TB3到TB4接口对连。

前不久刚写了《双路Xeon NUMA优化取舍:DaVinci 4K/8K视频编辑调色测试》,里面提到有些影视后期制作用户会在工作站上加雷电卡连接存储。这两天又想起来之前问我的朋友就是做存储的,上面的回答显然草率了些…

image.png

虽然本次我使用的是一条较短的雷电3线缆,但在许多时候,雷电3和4的差别并不大(参考下面表格)

image.png

如上表,雷电4在一些主要规格上,实际上是把雷电3的可选规格变成了必选,比如雷电3的主机PCIe通道最低可以是PCIe 3.0 x2(实际上后期产品基本都是x4了)。另外,由于Intel的贡献,支持USB 4的产品也是可以包含雷电3协议支持在里面——表格里只写了最低要求,可选的PCIe信道并没有标出来。

下面是我简单测试使用到的设备,从理论和物理带宽来看,端到端都符合40Gb/s的标准。而我也从网上看了下相关讨论,有人说雷电3只能到22Gbps,也有说2800MB/s的…还是自己实际验证一下吧,虽然结果不见得每次都能跑到最高。

测试平台

image.png

测试分为2个部分。一个是主机到主机的P2P直连网络;另一个就是Thunderbolt存储性能。我手头并没有专门的雷电存储设备,于是想到临时用显卡扩展笼子——里面不插显卡,放一个PCIe to M.2 NVMe SSD的转接卡。主要目的就是看看接口性能。

雷电/USB4 P2P网络:20Gbps和2820Mbps哪个数字靠谱?

image.png

当我把两台笔记本(或移动工作站)的雷电4接口用线缆互连后,每台主机就多显示出一块“USB4 P2P网卡”,配上IP啥的就可以通信了。

如果换成两台雷电3接口的主机,或者其中有一台是雷电3(雷电4向下兼容到3,但不能兼容雷电2),这个虚拟网卡设备名称就会是“Thunderbolt…”

image.png

上图中显示的接收/传输速度是20/20(Gbps),大家理解是不是指全双工呢?这里先留一个伏笔吧。

image.png

这里显示的链接速度又是2820(Mbps),以40Gb/s的标准,实际速度2800 MB/s左右是不是更合适一些啊?

下面我用iperf3测试下USB4(雷电)P2P网络的性能:

image.png

在Windows系统比较干净没什么干扰的情况下,单独测试双向网速,分别都能跑到1.5-1.6x GB/s。雷电4(USB4)还是雷电3差别不大。虽然不到标称的20Gbps,但也超过10Gb万兆以太网了。

雷电外接NVMe SSD测试:读2800 MB/s、写16xx MB/s

image.png

上面照片可以看到我使用的雷电3显卡扩展坞,里面的PCIe to M.2 SSD转接卡,之前在《10GB/s存储方案设计测试:用PCIe 5.0单盘还是SSD RAID?》中也曾使用过。这个“显卡笼子”比较mini,所以选个能放进去的短卡;后来我想起手头还有另一款雷电3显卡扩展坞,它们的测试性能基本一致,我猜用的应该是同一款Intel(PCIe to Thunderbolt)接口芯片。

image.png
上图引用自网络,顺便说明:画红圈的那项我并不建议勾选,实际上我也对比了没有明显差别。

由于从雷电外接的SSD会像移动硬盘那样,默认被设为“快速删除”而禁用写入缓存。所以在测试中我需要“启用设备上的写入缓存”,才能跑出更理想的顺序写性能。我还尝试过老一些的PM981a 256GB SSD,如果不打开写缓存影响会更大。

image.png

有些读者朋友在前面的照片中就看到这个结果了。由于我的设备端接口只是雷电3,所以主机端是雷电3或者4差别也不大。SSD单盘的顺序读都能跑到2800 MB/s;Precision 7920 Tower + 雷电3 PCIe扩展卡的顺序写,会比上面这个1600MB/s稍低一点。不排除与雷电控制器驱动版本(并未刻意统一)有关。

我在网上看到有的朋友公布的测试结果,雷电连接SSD顺序写也能跑到2600 MB/s以上,所以我的测试结果仅供参考,估计是平台上有哪个环节不同。若有高人能指出这里的原因,我在这里提前表示感谢!

受限于手头的设备,我对此先暂不深究了。一方面我的验证目的基本达到(至少有一个方向超过了2200Gb/s);另一方面,如果是多个SATA盘位的雷电存储阵列设备,除了接口之外实际性能还受限于RAID卡(外部)和HDD机械盘。以上图性能水平,除了10%以内的4K/8K超高清视频编辑用户,一般人应该都够用了。

雷电/USB4 P2P网络是全双工吗?

再跟大家分享我的一点发现:

image.png

最后,我想到自己还没跑网络双向打流量测试。结果如上图,在双向测试同时跑的情况下,互相会有一些影响(右边红框的衰减能看出来吧)——都跑不到1.5x GB/s左右,但两边速度加起来反而是达到了20Gb/s的最大值。

那么,这种P2P网络算是全双工吗?虽然在它的底层,PCIe to 雷电的部分双向带宽应该是互不影响的。

image.png

USB4 P2P双机直连网络的MTU(最大传输单元)是62000 bytes,我看到Thunderbolt雷电3 P2P网络的这个值略高,也在64KB以内。传统以太网默认MTU为1500bytes,如果设置巨型帧(jumbo frame)通常是修改至9000。

不久前的《NVMe/TCP性能对比、部署和自动化》一文中提到过,iSCSI在MTU 9000下的性能表现较好。

小结

当然,与万兆以太网交换机组网相比,雷电/USB4 P2P双机直连网络的应用范围还是比较受限的,本文只算是一个初体验吧。而它的价值,就是现在许多笔记本都带了TB4接口(从2年前的Dell Latitude 5000系列及以上就开始普及了双雷电4,Precision移动工作站至少也是该水平)。只要加一条线就能享受这个1x-20Gb的速度。

作者:唐僧 huangliang
原文:企业存储技术

推荐阅读

欢迎关注企业存储技术极术专栏,欢迎添加极术小姐姐微信(id:aijishu20)加入技术交流群,请备注研究方向。
推荐阅读
关注数
5553
内容数
235
关注存储、服务器、图形工作站、AI硬件等方面技术。WeChat:490834312
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息