此文发布于2018年7月7日
本文内容非商业用途可无需授权转载，请务必注明作者及本微信公众号、微博 @唐僧\_huangliang，以便更好地与读者互动。
最近比较忙，上周看到一份不错的资料，想写点东西分享给大家。结果周末时间不够，就稍微拖了一下。
16Gb FC交换机支持NVMe，但有限制
在上一篇《端到端NVMe__阵列：想说爱你却没那么快？》中，我主要的结论没问题，不过对于“Brocade 6510不支持NVMe/FC”这一点，有几位朋友给予了指正，在此表示感谢。
“nvmeover fc不需要交换机支持。交换机不介入nvme协议内容，不过悲催的事儿就是博科amp和flow vision会受影响”
“Brocade文档中有写，对于FC交换机而言NVMe只是UpperLayer Protocol，Gen5交换机升级到8.2.0afirmware就可以支持NVMe了。”
其实早在Qlogic 2015年12月的文档《FC-NVMe——NVMe over Fabrics》中，就提到可以兼容“当前的FC Fabric”（也就是网络交换机）。
而在另一份文档《Dell EMC Offers a SeamlessTransition to NVMe over Fibre Channel》中，也指出Gen5和Gen6光纤通道交换机都能完全兼容NVMe。不过HBA卡需要是Gen6的，并且驱动要支持NVMeover Fabric与SCSI共存。
就在人们讨论FC-NVMe与传统NVMe-oF（基于RDMA网络）哪个更好时，又有新的技术要加入战团了，那就是NVMe/TCP。
在本文结尾处，会列出这份pdf的下载链接
本文主要参考资料来自SNIA文档《_Let’s Talk “Fabrics”_》，分享人应该是Cisco的研发工程师，他同时出任SNIA和FCIA的董事代表，并在后者中负责NVM Express方向。
这次演讲的讨论议题包括：
•NVMe Refresher
•NVMe-oF Refresher
•“Fabrics!”
• NVMe/RDMA
• NVMe/FC
• NVMe/TCP
同时还感谢了来自Intel、Dell/EMC、Lightbits实验室、NetApp、Cavium（收购了QLogic）的几位同行朋友。
NVMe over Fabric回顾：FC也支持零拷贝
在现有的NVMe和NVMe-oF模型中，可以看出原生PCI Express是内存访问，FC则是消息机制，RDMA（支持InfiniBand、RoCE和iWARP三种传输技术）属于消息&内存的方式。
回顾下RDMA的价值，这个在当年IB的资料中经常看到类似的。主要是RDMA可以从网络硬件bypass内核软件栈，直接与用户态通信。
在上图中可以看出，NVMe of Fabric传输服务在FCP上层的位置与SCSI和FICON Layer是并列的。
相关产品_参考_：《从VMAX__到PowerMax__：Dell EMC__新一代NVMe__高端阵列解析》
此外，FC也像RDMA那样支持“Zero Copy”（零拷贝）技术。
NVMe-TCP：PCIe SSD时代iSCSI的替代者？
如上图，NVMe块存储协议也要跑在标准TCP/IP传输上了，未来可能还会有下一代Fabric技术。
具体来说，就是在TCP/IP socket上面发送NVMe-oF指令。
数据路径是相对于下面的控制路径而言。NVMe-TCP的优点在于可以用于当前的IP数据中心环境，只需要支持NVMe-TCP传输的纯软件NVMe主机驱动。
从定位上来看，应该最适合在使用NVMe SSD的存储系统中替代iSCSI（_我最早听到这个说法好像来自业内专家唐杰总，我眼中的先知_），好处同样是消除SCSI到NVMe的转换。
上图介绍了NVMe-TCP的另一种用途——控制网络，作为管理的这个可以使用千兆以太网，在主机和NVM子系统之外加入了一个发现服务子系统，并兼容NVMe-MI。
在NVMe/TCP消息模型中，我们可以看到主机和控制器之间的TCP握手、NVMe-oF连接请求，以及可选的In-Capsule数据。
NVMe/TCP的潜在问题
人们对NVMe/TCP的担心，与iSCSI也比较相似。当TCP/IP面对RDMA时，延时、处理资源开销（缺乏硬件加速）就成为大家关心的问题。我的英文不够好，读者朋友们直接看上图中的问答就好。
最后是NVMe-TCP的标准化。NVMe-oF1.1 TCP投票已经在2017年4月通过，NVMe工作组将把TCP加入到规范中，与RDMA并列。预计NVMe over TCP标准将在今年下半年被批准。
参考资料
https://www.snia.org/sites/de...
推荐阅读
本文转载自企业存储技术微信公众号原文链接点这里注：本文只代表作者个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。 进一步交流技术可以加我的微信/QQ：490834312。
尊重知识，转载时请保留全文，并包括本行及如下二维码。感谢您的阅读和支持！《企业存储技术》微信公众号：HL_Storage，也欢迎关注企业存储技术极术专栏，定期更新。
