焱融科技 · 2021年06月18日

RDMA打造存储利器

导读

在数据不断增长的时代,数据的快速处理对信息的有效利用至关重要。目前数据中心无论对存储读写带宽还是延迟都有极致的要求,例如在线搜索、移动、游戏,视频直播领域都需要以非常快的速度响应用户的请求,数据中心内任何一环导致延迟,都会对用户体验产生极大的影响。

在高性能计算领域,RDMA技术很早就已经得到了验证,并且进行了一定范围的应用。随着大数据与人工智能的高速发展,RDMA技术也将在企业内得到推广。

走进RDMA世界

在TCP的网络世界里,收到一个网络数据包,要经过网络层和传输层,最后才能够被应用层处理。网络层和传输层会消耗CPU资源,由于CPU还要处理其他的计算任务,这一方面使得网络传输性能收到影响,同时也会影响其它计算任务的性能。此外,在进行传统的TCP协议处理时,所有的数据都需要在用户缓冲区与内核缓冲区之间进行多次复制,需要消耗极大的内存带宽,同时带来一定的延时。

RDMA技术就是为了降低网络传输中服务器端数据处理的延迟而产生的。服务器网卡收到一个数据包,在网卡硬件上就可以完成网络层和传输层的解析,直接把数据传递给应用层,不需要CPU的干预,从而释放内存带宽并减少CPU消耗,进而提升应用系统性能。

11.jpeg

为了有效利用RDMA技术的高带宽和低延迟优势,焱融云存储团队调研了支持RDMA技术的三种不同的网络协议:

  • Infiniband(IB): 使用RMDA专用网卡与交换机,从硬件级别全面支持RDMA,保证传输可靠性
  • RDMA OVER Converged Ethernet(RoCE):基于现有的以太网实现RDMA,底层网络包头部是普通的以太网包头,上层网络包头部是Infiniband包头,因此RoCE只需要专有的支持RoCE网卡,就可以在标准以太网基础架构(交换机)上实现RDMA
  • Internet Wide Area RDMA Protocol(iWARP): iWARP直接将RDMA实现在了TCP上,这允许在标准以太网基础架构(交换机)上使用RDMA,这种方案需要配置支持iWARP的特殊网卡

22.jpeg

对比三种协议实现,Infiniband性能最好,但需要额外配置较多的专用设备,系统整体升级成本较高;RoCE只需要替换专用的网卡设备,在获取性能优势的同时,将成本控制在一定范围;iWARP成本最低,但与TCP臃肿的协议栈相关联,性能上提升有限。

焱融云分布式存储完美支持RDMA

要实现支持RDMA网络的通信方式,需要使用RDMA verbs API(OFED 提供了包含libibverbs和RDMA-CM等用户态库函数)编程,对原有的通信模块进行改进,最终实现的网络传输模块既能兼容最初的TCP通信方式,又可以同时向客户端提供RDMA连接服务。
 
焱融云技术团队在焱融高性能分布式存储里实现了RDMA传输的功能,支持通过InfiniBand,RoCE或TCP来实现客户端到存储服务端的数据交互,以及存储集群服务器之间的数据传输。

33.jpeg

性能大幅提升

在性能上,我们采用Mellanox connect-X系列网卡以及Mellanox交换机基于以太网物理链路测试了RoCE的性能。从测试结果来看,相对于TCP/IP通讯协议, 小文件读写性能有了质的提升。可以看到,基于RDMA技术的读写性能比基于普通交换机TCP传输的性能最高可提升4倍。尤其是在小数据包的读写上,其性能优势更为明显。

44.jpeg

55.jpeg

以上数据是基于RoCE方式实现的RDMA传输,如果使用专用的InfiniBand设备,其性能还会进一步提升。有了RDMA这个利器,焱融云分布式存储在高性能计算、AI人工智能等领域将更具优势,满足用户在这些业务中对性能的更高要求。

在一个又一个的技术挑战面前,在追求卓越的道路上,焱融云从未止步。

推荐阅读
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息