不久前，有位老朋友问了我一个技术问题。如下：
万兆的NAS类存储，以前我还真没仔细研究过性能。不过以早年千兆时代的习惯，单1Gb/s网口客户端访问60-70MB/s也还算正常吧？
然后我到网上查了下，万兆文件存储跑到1GB/s应该挺轻松的，就想着自己搭个平台验证下，看看能否遇到朋友类似的问题。
模拟测试平台：10GBASE-T直连 + NVMe SSD
我手头倒是有一台带Intel10Gb/s万兆SFP+网卡的2U主机，但其它设备都是RJ-45网口了。上面的交换机是24千兆+4个万兆SFP+的配置，这次暂时先不用光纤连接了吧。
Dell Precision 3930 Rack__机架工作站集成2__个RJ-45__网口，其中下面那个是万兆。
就地取材，我选了2台带10GBASE-T网口的1U机架工作站，凑合用双绞线直连测试。正好这2台机器装的都是Windows10专业版系统，也就先不整ServerOS了。与其说NAS存储测试，不如看作简化了环境，主要目的是验证下Windows SMB文件共享在万兆以太网下的性能。
关于测试机顺便多介绍几句：这款1U机架工作站支持550W 1+1冗余电源；后端的2个Type-C是Intel集成显卡输出/USB 3通用接口（可转接为HDMI/VGA等）；Dell 3930 Rack与1U服务器最大的区别是可以支持各种Quadro、GeForce显卡，双宽全长300W功耗。比如照片中上面那台就安装了一片2080Super，等到下篇我测试Premiere视频编辑存储时会派上用场。
Aquantia AQtion AQC107——这个网卡芯片品牌可能没有Intel、Broadcom和Mellanox那样为人熟知，我在新闻中看到去年Aquantia应该是被Marvell收购了。
上图用箭头指示出的，是3930 Rack 1U__工作站主板上的2__个M.2NVMe SSD__安装位。
在常规1U机箱中，如果用HDD机械硬盘组建RAID，受限于盘位数其性能难以达到万兆网卡的带宽水平。所以本次模拟测试使用NVMeSSD以规避来自存储介质的瓶颈，并且是那种以最大带宽长时间持续写入也不会掉速的那种SSD。
在Dell商用客户端产品中，Class 50是最高等级的NVMe SSD——类似企业级SSD那样按照恒定写入带宽来设计（价格也会高一些）；而Class 40及以下的就像大多数民用SSD那样，有TLC模拟SLC闪存的写入缓冲区，一开始能够达到比较高的突发写带宽。视频编辑等方面的用户需要留意下这点。
iPerf3网络测试及优化尝试
首先我用iperf3跑了下单线程测试，带宽7.75 Gb/s。
5个线程测试，合并带宽达到了9.46Gb/s，看着还凑合了？
随后我发现，文件访问客户端和服务端的网卡驱动版本不同，一台是较新的2.1.12，而另一台是2.1.5。我把版本低的也升级到2.1.12再测试。
处理完网卡驱动之后，单线程的测试带宽提升到8.14Gb/s。
然后我又在两端打开了Jumbo Packet（巨型帧）——大家知道，默认的以太网MTU数据包大小是1500字节，部分存储应用建议将其调大至9000（9014字节）。
打开JumboPacket之后，多线程iperf3测试带宽提高到9.88 Gb/s，已经接近10Gb的理论值了。
不过，可能由于我是用网线直连，中间没有交换机，MTU 9000测试单线程带宽反而有点下降，在接下来的文件传输测试中速度也不是很稳定。所以后续测试我还是先改回默认的MTU 1500。
文件读写测试：轻松超过1GB/s
刚才介绍过，运行SMB文件共享的R3930 Rack服务端配置了高速NVMe SSD，而客户端这台恰好是SATASSD。为了省事起见，我在客户端开了一个10GB的RAMDisk内存虚拟盘，这样两边都不会给网络拖后腿。
测试复制的数据内容主要是几个700MB-2.xGB的视频大文件。上图是从Windows SMB文件共享中读取数据，速度保持在1.0 GB/s以上，对应的客户端网卡接收速率也是9.x Gbps。这应该证明了Windows SMB文件共享的单一复制任务就使用了多线程网络传输，那么其它应用比如视频编辑存储呢？
测试网络文件写入有时还会更快一点，比如上图中就看到网卡发送9.9Gbps的情况。毕竟服务端的SMB共享目录位于NTFS文件系统上，可能还会有一些缓存啥的吧。
朋友的问题分析：交换机没开Jumbo Packet
虽然我测试的Aquantia网卡不开Jumbo Packet性能也还行，但朋友说他用的网卡是著名“洋垃圾”CX341 + OCP转接卡（通过光纤与交换机连接）。经过确认，他尝试打开巨型帧之后上行到服务器的性能可以达到1.2GB/s，但下行只有50MB/s。然后我又确认了他的交换机应该没开Jumbo Packet，希望是这点导致的问题吧，虽然我不是网络专家：）
本想接着给大家讲网络存储视频编辑测试，不过看看篇幅还是单独再写一篇吧。我以前对使用本地DAS磁盘、FC SAN存储做非线性编辑的素材盘还熟悉一些；NAS的好处是共享访问能力，比如大名鼎鼎的Isilon。
虽然我的测试还没有那么高大上，不过技术总是要对接应用。万兆NAS在做多层HD/4K视频编辑时能发挥出几成功力呢？敬请关注下篇…
推荐阅读
本文转载自企业存储技术微信公众号原文链接点这里注：本文只代表作者个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。 进一步交流技术可以加我的微信/QQ：490834312。
尊重知识，转载时请保留全文，并包括本行及如下二维码。感谢您的阅读和支持！《企业存储技术》微信公众号：HL_Storage，也欢迎关注企业存储技术极术专栏，定期更新。
