企业存储技术 · 2023年09月05日

HPC存储趋势简析:文件系统 & Linux选择

本文参考的主要是2份资料:

https://www.hpcwire.com/2022/11/08/hyperion-paints-a-positive-picture-of-the-hpc-market/

https://blocksandfiles.com/wp-content/uploads/2023/08/Full-2023-HPC-SYSPROS-Survey-Results.pdf

其实去年我也曾想简单写一点HPC文件系统/Lustre的东西,不过后来犹豫了就没有发。今天仍然只是想给大家一些参考而已,数字可能有不准确之处。

image.png

注意上图是全球的数字,2022年On-Premises(这个不算公有云服务)HPC存储厂商的份额排名,依次是Dell、IBM、HPE/Cray、联想、DDN、希捷和NetApp。

Dell Technologies这里面显然应该有并购EMC的贡献,而HPE也是收购了Cray,Lenovo则凭借IBM x86服务器的并购而在全球HPC市场获得现在的位置。

image.png

按照文件系统划分,右边是并行文件系统,也就是支持针对单个文件更细粒度的锁,允许多人同时打开文件不同分段、同时修改的HPC文件系统。这里面开源的Lustre份额高居46%,IBM GPFS以22%排在第二,然后是pNFS、BeeGFS和Ceph(这里指的不是CephFS吧?)。

左边的饼图则是常规NAS和Scale-out文件系统(相对与并行文件系统而言),HPC和AI存储也有些用到这些的。由于计算节点基本都是Linux,所以NFS标准协议在这里份额达到80.3%;QumuloFS居然达到8.3%排在第二(只是我不够熟悉);Isilon的OneFS和VAST都是5.3%。说实话VAST在初创存储公司里算做得不错了;当然Isilon的市场不止是HPC,还有媒体娱乐等行业也口碑不错,历史比较久的好处就是快照/备份接口等数据服务较为完备成熟,另外就是处在Dell EMC的整体生态中。

image.png

CentOS是以前装机量最高的服务器Linux系统,HPC领域也不例外。由于RedHat的策略变化,原有CentOS客户正在向外迁移。以上调查是针对客户,只有27.9%的受访者表示愿意继续沿用CentOS,而迁移目标总体排名前三的分别是Red Hat企业版23.5%、Rocky Linux 20.6%和Ubuntu 19.1%。

按行业划分,工业领域选择Red Hat的31.6%占比最高,愿意付费获得更好服务;政府领域Rocky Linux占37.5%的意愿排名领先,我理解这一块可以养人维护或者购买HPC厂商的服务;学术领域则是留守CentOS的大户(40.9%的OS占比),一方面估计是为了省钱,同时是不是可靠性要求相对低一些?

image.png

关于操作系统部分,结合看另一份资料就更全面了。上图表是当前运行的HPC计算节点OS在不同单位的普及率。红帽系及其兼容版当前仍然遥遥领先,CentOS 57.4%、Rocky Linux 50%、RHEL 33.3%。

image.png

这个图表则是未来考虑的操作系统。CentOS兼容好且免费的Rocky Linux以58.5%处于绝对优势;RHEL和Debian分别以30.2%和24.5%排在后面;然后依次是AlmaLinux、SLES和OpenSUSE、Ubuntu;仍选择CentOS和CentOS Stream的都只有5.7%了(各有3位受访者)。

可见来自National Center for Atmospheric Research的这份调查数字应该是针对新建系统;而前面Hyperion Research 2022的报告里,应该包括对现有系统的升级和迁移。

作者:唐僧 huangliang
原文:企业存储技术

推荐阅读

欢迎关注企业存储技术极术专栏,欢迎添加极术小姐姐微信(id:aijishu20)加入技术交流群,请备注研究方向。
推荐阅读
关注数
5557
内容数
238
关注存储、服务器、图形工作站、AI硬件等方面技术。WeChat:490834312
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息