本文参考的主要是2份资料:
https://www.hpcwire.com/2022/11/08/hyperion-paints-a-positive-picture-of-the-hpc-market/
https://blocksandfiles.com/wp-content/uploads/2023/08/Full-2023-HPC-SYSPROS-Survey-Results.pdf
其实去年我也曾想简单写一点HPC文件系统/Lustre的东西,不过后来犹豫了就没有发。今天仍然只是想给大家一些参考而已,数字可能有不准确之处。
注意上图是全球的数字,2022年On-Premises(这个不算公有云服务)HPC存储厂商的份额排名,依次是Dell、IBM、HPE/Cray、联想、DDN、希捷和NetApp。
Dell Technologies这里面显然应该有并购EMC的贡献,而HPE也是收购了Cray,Lenovo则凭借IBM x86服务器的并购而在全球HPC市场获得现在的位置。
按照文件系统划分,右边是并行文件系统,也就是支持针对单个文件更细粒度的锁,允许多人同时打开文件不同分段、同时修改的HPC文件系统。这里面开源的Lustre份额高居46%,IBM GPFS以22%排在第二,然后是pNFS、BeeGFS和Ceph(这里指的不是CephFS吧?)。
左边的饼图则是常规NAS和Scale-out文件系统(相对与并行文件系统而言),HPC和AI存储也有些用到这些的。由于计算节点基本都是Linux,所以NFS标准协议在这里份额达到80.3%;QumuloFS居然达到8.3%排在第二(只是我不够熟悉);Isilon的OneFS和VAST都是5.3%。说实话VAST在初创存储公司里算做得不错了;当然Isilon的市场不止是HPC,还有媒体娱乐等行业也口碑不错,历史比较久的好处就是快照/备份接口等数据服务较为完备成熟,另外就是处在Dell EMC的整体生态中。
CentOS是以前装机量最高的服务器Linux系统,HPC领域也不例外。由于RedHat的策略变化,原有CentOS客户正在向外迁移。以上调查是针对客户,只有27.9%的受访者表示愿意继续沿用CentOS,而迁移目标总体排名前三的分别是Red Hat企业版23.5%、Rocky Linux 20.6%和Ubuntu 19.1%。
按行业划分,工业领域选择Red Hat的31.6%占比最高,愿意付费获得更好服务;政府领域Rocky Linux占37.5%的意愿排名领先,我理解这一块可以养人维护或者购买HPC厂商的服务;学术领域则是留守CentOS的大户(40.9%的OS占比),一方面估计是为了省钱,同时是不是可靠性要求相对低一些?
关于操作系统部分,结合看另一份资料就更全面了。上图表是当前运行的HPC计算节点OS在不同单位的普及率。红帽系及其兼容版当前仍然遥遥领先,CentOS 57.4%、Rocky Linux 50%、RHEL 33.3%。
这个图表则是未来考虑的操作系统。CentOS兼容好且免费的Rocky Linux以58.5%处于绝对优势;RHEL和Debian分别以30.2%和24.5%排在后面;然后依次是AlmaLinux、SLES和OpenSUSE、Ubuntu;仍选择CentOS和CentOS Stream的都只有5.7%了(各有3位受访者)。
可见来自National Center for Atmospheric Research的这份调查数字应该是针对新建系统;而前面Hyperion Research 2022的报告里,应该包括对现有系统的升级和迁移。
作者:唐僧 huangliang
原文:企业存储技术
推荐阅读
欢迎关注企业存储技术极术专栏,欢迎添加极术小姐姐微信(id:aijishu20)加入技术交流群,请备注研究方向。