本文内容非商业用途可无需授权转载，请务必注明作者及本微信公众号、微博 @唐僧\_huangliang，以便更好地与读者互动。
25G、40G、56G… FC说我能比你们都快，而且还只是单个lane。
昨天看到华云数据收购Maxta的新闻，不过我还是想写点具体技术相关的东西。
也是这两天注意到64GFC和第七代光纤通道的消息，仔细一看原来是去年底发布的，为什么没啥关注度呢？
想想现在主流数据中心网络接入层的速率，以太网还在从10Gb/s向25Gb/s过渡中，FC多是16Gb和32Gb，InfiniBand则以56Gb（FDR）和100Gb（EDR）为主。需要注意的是，56Gb和100Gb IB都是4个lane（4对信号线），40Gb和100Gb以太网（多用于汇聚/核心层）也是如此。
那么对于单个lane 25Gb的以太网和32Gb的FC来说，速率翻倍也算是个挑战了。
请注意位于上方那条折线是Quad Lane（4信道）in QSFP，也就相当与4个单lane聚合。
上图引用自FCIA最新的Roadmap，按道理到2019年Serial Lane in SFP达到64G的光纤通道产品应该出现了。不过现实往往没有计划乐观，我们也简单看看问题出在哪里。
这就是被Broadcom收购的Emulex，最新一代的Gen 7 Fibre Channel HBA LPe35000系列中的4端口32Gb卡，同一代自然也提供单/双端口的型号。不难看出这LPe35004卡的金手指是PCIe x16，而单/双端口则是PCIe x8，它们使用的控制芯片应该都是同一颗XE601。
这个是Broadcom（Emulex）XE-601的架构图，该芯片主机界面可支持PCIe 4.0 x8或者PCIe 3.0 x16。我们知道目前除了Power9之外，Intel和AMD的x86平台还不支持PCIe 4.0，所以绝大多数人应该是这样计算带宽的：
4个32GFC口总带宽3200x4=12800MB/s（双向还可以x2），单个lane接近1GB/s的PCIe 3.0只有x16才能发挥到线速。
要说64GFC__有点不足的话，那就是不再支持自适应到8G__链路速度了（向前兼容2__代）
目前Emulex发布的Gen 7 FC HBA还不支持64G，但芯片有这个潜在能力，最多4个端口能一起跑到64G，这种配置下无论PCIe 3.0 x16还是PCIe 4.0 x8都显不足了（还会有Gen 8 FC嘛）。好在服务器端的主流需求是双端口为主，将来64G 的LPe35002跑在PCIe 4.0 x8的主板上比较合适。当然，对PCIe Gen4最迫切的应该还是200Gb/s IB和OPA。
同时我们不能忽略光模块，还有交换机。我在《_PowerEdgeMX网络篇：从100GbE到32Gb FC的2种姿势》中说过32GFC的物理层速率是28Gbps（64b/66b编码，准确点说28.05 Gb/s），那么在一对差分信号上实现64GFC也需要与之对应物理层收发器——Broadcom资料里写的是57.8 Gb/s。正好前几天我还转载了一篇《数据网络，“凭什么”可以达到56 Gbps？_》，可供大家了解这一领域的进展。
_旁引个资料：Mellanox还是早了一步，在200G HDR InfiniBand上用到了50Gb/s per lane_。虽然这家公司身陷收购传闻，但我不得不佩服他们的技术理想与实践，Mellanox是网络领域一个独特的存在：）
上图引用自《_Fibre Channel Trunking -Emulex® Gen 7 HBAs and Brocade® Gen 6 Switches_》，如今博科也同在Broadcom屋檐下，但7代的HBA暂时还只能配6代交换机用，所以即使HBA卡支持64G也只能跑32G。看来整个生态系统不是太着急，为什么呢？
我们再从去年底FCIA的新闻稿中看看，还有哪些要点：
-为全闪存和端到端NVMe数据中心而构建，提供10µs以内的往返延时，大于500万IOPS。
-Gen 7 Fibre Channel将受益于成熟的第二代T11 FC-NVMe标准，带来增强的“Sequence-Level”错误恢复。关于NVMe over Fibre Channel（NVMe/FC）协议的支持，我在《_端到端NVMe阵列：想说爱你却没那么快？_》简单讨论过一点，记得交换机部分曾有写错之处，感谢朋友的纠正。
-性能升级只需要简单热插拔64GFC光套件（主要是光模块）
当时的新闻里还提到Dell EMC是交付Gen7 FC的首家服务器厂商，也就是PowerEdge系列，当然目前暂时还是跑32G。
讨论Emulex之余，我总是会一同看看QLogic。刚被Cavium收购不久，又加入了Marvell，估计整合要折腾一阵吧。按以往的经验，等将来64GFC真正上线应用的时候，我倒是不太担心两家的产品都能准备好。
小结
其实在当前32G FC很少有不够用的情况，作为存储网络，光纤通道基本上只负责南北向、服务器到存储阵列之间的I/O。那些Scale-out架构的SAN存储，比较高端的在控制器间用IB或者PCIe互连（如EMC VMAX/PowerMAX），另外一些用以太网；像IBM SVC/V7000那样将FC作为控制器间通信的毕竟属于另类。
在这种专注的用途下，不需要RDMA，而光纤通道也支持NVMe over Fabric了。相比之下，IB用于计算-存储节点间互连主要应用在HPC领域（扩展阅读：《_HPC存储IO500测试分析：这结果合理吗？_》）。Server SAN的前后端（或称内外部）网络通常都是以太网，25Gb/40Gb真正不够用的时候又有多少呢？别忘了还有端口聚合/多路径。
就像一位专家朋友所说：“全世界的transaction（交易数）增加了多少？” SAN也好，Server SAN也罢，承载的主要还是传统结构化数据，还有虚拟机等。有几个人真正需要在单块I/O卡上跑500万IOPS？这大概就是64GFC目前的孤独吧：）
参考内容
https://fibrechannel.org/indu...
https://fibrechannel.org/broa...
推荐阅读
本文转载自企业存储技术微信公众号，[原文链接点这里]。
注：本文只代表作者个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。 进一步交流技术可以加我的微信/QQ：490834312。
尊重知识，转载时请保留全文，并包括本行及如下二维码。感谢您的阅读和支持！《企业存储技术》微信公众号：HL_Storage，也欢迎关注企业存储技术极术专栏，定期更新。
