引言：如今市面上大多数中高端笔记本、移动工作站都标配了雷电4 Type-C接口，人们用它连接显示器、给笔记本供电、通过扩展坞转接USB Type-A接口等。但也许80-90%的用户（也包括我在内）并没有把Thunderbolt的全部潜力都发挥出来。还有什么玩法呢？
扩展阅读：《6K显示器 & 新一代接口：DP 2.0、HDMI 2.1、雷电4应用解析》
前一段有位朋友问我Thunderbolt雷电接口的实际带宽性能，忽然意识到自己好像还真没仔细测过？
当时我简单回复了一个20Gb/s（注意是bit，不是Byte），为什么不是40Gb/s呢？因为之前有个项目帮客户解决雷电P2P双机直连网络的问题，那个网络连接标称的速率就是20Gbps。记得当时的测试环境应该还包含TB3到TB4接口对连。
前不久刚写了《双路Xeon NUMA优化取舍：DaVinci 4K/8K视频编辑调色测试》，里面提到有些影视后期制作用户会在工作站上加雷电卡连接存储。这两天又想起来之前问我的朋友就是做存储的，上面的回答显然草率了些…
虽然本次我使用的是一条较短的雷电3线缆，但在许多时候，雷电3和4的差别并不大（参考下面表格）
如上表，雷电4在一些主要规格上，实际上是把雷电3的可选规格变成了必选，比如雷电3的主机PCIe通道最低可以是PCIe 3.0 x2（实际上后期产品基本都是x4了）。另外，由于Intel的贡献，支持USB 4的产品也是可以包含雷电3协议支持在里面——表格里只写了最低要求，可选的PCIe信道并没有标出来。
下面是我简单测试使用到的设备，从理论和物理带宽来看，端到端都符合40Gb/s的标准。而我也从网上看了下相关讨论，有人说雷电3只能到22Gbps，也有说2800MB/s的…还是自己实际验证一下吧，虽然结果不见得每次都能跑到最高。
测试平台
测试分为2个部分。一个是主机到主机的P2P直连网络；另一个就是Thunderbolt存储性能。我手头并没有专门的雷电存储设备，于是想到临时用显卡扩展笼子——里面不插显卡，放一个PCIe to M.2 NVMe SSD的转接卡。主要目的就是看看接口性能。
雷电/USB4 P2P网络：20Gbps和2820Mbps哪个数字靠谱？
当我把两台笔记本（或移动工作站）的雷电4接口用线缆互连后，每台主机就多显示出一块“USB4 P2P网卡”，配上IP啥的就可以通信了。
如果换成两台雷电3接口的主机，或者其中有一台是雷电3（雷电4向下兼容到3，但不能兼容雷电2），这个虚拟网卡设备名称就会是“Thunderbolt…”
上图中显示的接收/传输速度是20/20（Gbps），大家理解是不是指全双工呢？这里先留一个伏笔吧。
这里显示的链接速度又是2820（Mbps），以40Gb/s的标准，实际速度2800 MB/s左右是不是更合适一些啊？
下面我用iperf3测试下USB4（雷电）P2P网络的性能：
在Windows系统比较干净没什么干扰的情况下，单独测试双向网速，分别都能跑到1.5-1.6x GB/s。雷电4（USB4）还是雷电3差别不大。虽然不到标称的20Gbps，但也超过10Gb万兆以太网了。
雷电外接NVMe SSD测试：读2800 MB/s、写16xx MB/s
上面照片可以看到我使用的雷电3显卡扩展坞，里面的PCIe to M.2 SSD转接卡，之前在《10GB/s存储方案设计测试：用PCIe 5.0单盘还是SSD RAID？》中也曾使用过。这个“显卡笼子”比较mini，所以选个能放进去的短卡；后来我想起手头还有另一款雷电3显卡扩展坞，它们的测试性能基本一致，我猜用的应该是同一款Intel（PCIe to Thunderbolt）接口芯片。
上图引用自网络，顺便说明：画红圈的那项我并不建议勾选，实际上我也对比了没有明显差别。
由于从雷电外接的SSD会像移动硬盘那样，默认被设为“快速删除”而禁用写入缓存。所以在测试中我需要“启用设备上的写入缓存”，才能跑出更理想的顺序写性能。我还尝试过老一些的PM981a 256GB SSD，如果不打开写缓存影响会更大。
有些读者朋友在前面的照片中就看到这个结果了。由于我的设备端接口只是雷电3，所以主机端是雷电3或者4差别也不大。SSD单盘的顺序读都能跑到2800 MB/s；Precision 7920 Tower + 雷电3 PCIe扩展卡的顺序写，会比上面这个1600MB/s稍低一点。不排除与雷电控制器驱动版本（并未刻意统一）有关。
我在网上看到有的朋友公布的测试结果，雷电连接SSD顺序写也能跑到2600 MB/s以上，所以我的测试结果仅供参考，估计是平台上有哪个环节不同。若有高人能指出这里的原因，我在这里提前表示感谢！
受限于手头的设备，我对此先暂不深究了。一方面我的验证目的基本达到（至少有一个方向超过了2200Gb/s）；另一方面，如果是多个SATA盘位的雷电存储阵列设备，除了接口之外实际性能还受限于RAID卡（外部）和HDD机械盘。以上图性能水平，除了10%以内的4K/8K超高清视频编辑用户，一般人应该都够用了。
雷电/USB4 P2P网络是全双工吗？
再跟大家分享我的一点发现：
最后，我想到自己还没跑网络双向打流量测试。结果如上图，在双向测试同时跑的情况下，互相会有一些影响（右边红框的衰减能看出来吧）——都跑不到1.5x GB/s左右，但两边速度加起来反而是达到了20Gb/s的最大值。
那么，这种P2P网络算是全双工吗？虽然在它的底层，PCIe to 雷电的部分双向带宽应该是互不影响的。
USB4 P2P双机直连网络的MTU（最大传输单元）是62000 bytes，我看到Thunderbolt雷电3 P2P网络的这个值略高，也在64KB以内。传统以太网默认MTU为1500bytes，如果设置巨型帧（jumbo frame）通常是修改至9000。
不久前的《NVMe/TCP性能对比、部署和自动化》一文中提到过，iSCSI在MTU 9000下的性能表现较好。
小结
当然，与万兆以太网交换机组网相比，雷电/USB4 P2P双机直连网络的应用范围还是比较受限的，本文只算是一个初体验吧。而它的价值，就是现在许多笔记本都带了TB4接口（从2年前的Dell Latitude 5000系列及以上就开始普及了双雷电4，Precision移动工作站至少也是该水平）。只要加一条线就能享受这个1x-20Gb的速度。
作者：唐僧 huangliang
原文：企业存储技术
推荐阅读
欢迎关注企业存储技术极术专栏，欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。
