云中子〖计算杂谈〗 · 9月18日 · 北京

希捷:在AI浪潮中重塑数据存储格局

《黑神话:悟空》的热销不仅在游戏界掀起了一股新的波澜,也无意中揭示了现代3A游戏对存储容量的庞大需求。玩家们在享受精美画面和沉浸式体验的同时,也面临着一个日益严峻的问题:游戏文件的大小正以惊人的速度增长,动辄数十甚至上百GB的容量需求,让许多玩家的存储设备感到压力山大。这一现象,正是数据量快速增长趋势的一个缩影。

随着技术的进步和玩家对游戏体验要求的提升,3A游戏的制作越来越精细,从高清纹理到复杂的物理模拟,从庞大的开放世界到丰富的剧情内容,每一项都意味着更多的数据需要被存储和处理。这一趋势不仅在游戏领域显现,它同样影响着视频、图像、科学研究、AI等多个领域,无论是消费级还是企业级市场,数据量的激增正在成为我们这个时代的一个显著特征。在这样的背景下,如何有效管理和利用这些庞大的数据资源,成为了一个亟待解决的问题。

AI驱动数据爆炸性增长

在近期举办的ODCC 2024开放数据中心峰会上,希捷中国区产品部总监刘嘉剖析了存储领域面临的快速增长新挑战。他指出,随着人工智能技术的蓬勃发展,数据生成的内容日益多元化且规模空前,尤其是图片与视频等多媒体数据呈现爆炸式增长态势。企业纷纷加大对AI计算能力的投资,直接推动了数据量的持续飙升。面对这股数据洪流,企业正积极采取分层存储策略,将海量数据高效部署于企业级设备中,其中,具备显著TCO(总体拥有成本)优势的机械硬盘成为了存储主力军,承载了大部分数据。

希捷中国区产品部总监 刘嘉

面对数据量的急剧膨胀,企业对高效、安全且经济的存储解决方案的需求愈发迫切。在此背景下,市场上涌现出多样化的企业级存储技术,各有千秋。固态硬盘(SSD)凭借其卓越的读写速度和低功耗特性,在追求极致性能的数据库和即时服务领域独占鳌头,但其高昂的成本和有限的寿命亦不容忽视。相比之下,机械硬盘(HDD)则凭借低成本、高容量的显著优势,在企业的日常数据存储、备份及长期归档方面发挥着不可替代的作用。

综上所述,企业在选择适合自身需求的企业级存储技术时,需全面权衡性能、容量、安全性、成本效益以及维护管理等多方面因素。高性能密集型应用可能更倾向于采用固态硬盘以追求极致效率,而数据湖类的海量存储、大数据存储、对象存储、文件存储、块存储、和归档存储,更倾向于成本效益更好的机械硬盘存储方案。每种存储技术都有其独特的价值与应用场景,企业应基于自身业务需求和预算限制,做出明智的决策。通过精心规划与适时的技术迭代升级,企业能够构建起既高效又可靠的数据存储基础设施,为当前及未来的业务发展奠定坚实的基础。

希捷布局三大用户群体

当前,随着AI技术的迅猛发展,其对数据存储的需求也急剧攀升,对存储系统提出了更为严苛的要求。在此背景下,希捷作为行业领军者,正积极布局以应对这一挑战。

刘嘉表示,在数据存储的广阔领域中,不同业务场景下的用户需求呈现出多样化的特点,大致可划分为三大用户群体。

第一类用户:他们偏好以机械硬盘为核心构建存储解决方案,这主要得益于机械硬盘在提供大容量存储的同时,还能保持较高的成本效益。面对机械硬盘在随机读写性能上的不足,这类用户巧妙地采用数据分层管理策略,并优化工作负载分配,通过固态硬盘与机械硬盘的互补组合,充分发挥各自优势,既保证了存储效率,又控制了成本。

通过部署更大容量的硬盘,如24TB或30TB,可有效减少了服务器数量,进而降低了总体拥有成本(TCO)。尽管这一过程中可能涉及一定的软件开发投入以适配业务和工作负载,但相较于硬件成本的显著节省,这些投入最终实现了成本效益的最大化。

第二类用户:他们可能面临容量瓶颈的困扰,受限于业务需求,只能采用较小容量的硬盘,如12TB或16TB的机械硬盘。尽管如此,这些硬盘相较于固态硬盘而言,仍具有显著的经济优势。随着磁密度的不断提升,这些较低容量的硬盘未来有望通过技术进步实现TCO的持续下降,从而避免转向成本更高的固态盘方案。

第三类用户:他们则勇于尝试新技术,如双磁臂硬盘,这种创新设计旨在提升机械硬盘的性能表现,特别是在随机读写操作方面。通过引入此类技术,他们能够在保持成本可控的前提下,获得更为出色的存储性能。

整体来看,不同用户群体根据自身独特的业务需求和预算考量,采取了多样化的存储策略。随着技术的持续进步和市场环境的不断变化,这些策略也将不断演进和完善,以更好地满足日益增长的存储需求和成本效益要求。

AI开发中的存储部署新策略

许多人对企业在进行AI开发时如何部署存储感到好奇,特别是机械硬盘在当前环境下是否仍具有竞争力。刘嘉指出,在大模型的工作负载下,存储的作用日益凸显,尤其是在AIGC大模型的训练过程中,存储的角色更是不可或缺。这一过程可以细分为几个关键步骤。

首先,模型文件需要被放置在GPU集群中,这些文件的大小从小至几百MB到大至几个TB不等。其次,在训练过程中,会产生Checkpoint,即模型参数数据,用于在训练中断后能够恢复到某个特定状态,类似于游戏中的存盘功能。最初,由于性能需求,许多用户选择使用固态硬盘来存储Checkpoint数据,尽管成本较高。

然而,现在许多客户开始意识到,并非所有的Checkpoint数据都需要存储在固态硬盘上。对于那些保存时间较长、不经常读取的数据,用户可能会选择将它们迁移到成本更低的机械硬盘上,以降低成本。此外,对于存储不同版本模型数据的需求,由于对性能要求不高,机械硬盘也成为了一个经济实惠的选择。

最后,当模型训练完成,生成的文本、图片或视频等数据,很可能会存储在机械硬盘上。目前,由于模型的尺寸越来越大,产生的数据量也随之增高,模型成熟和渗透率的提高,也让未来生成数据的内容将更加丰富,对数据保留时间的要求也会增加。简而言之,存储需求从最初的简单快速演变为现在的优化成本,机械硬盘因此在某些场景下成为了固态硬盘的有效替代品。

用新技术探索机械硬盘的未来

谈到数据产生速度加快和存储需求激增的市场趋势,刘嘉认为希捷聚焦于提升硬盘存储容量以满足生成式AI等应用的数据需求,同时致力于降低功耗、提升每TB的性能以优化客户体验。特别关注企业级市场,针对90%数据存储于企业级硬盘和云端的现状,将不断优化产品以更好地服务于这一核心市场。此外,希捷还紧密追踪AI技术的发展,评估并把握AI应用与负载带来的新机遇,通过市场细分和定制化服务策略,持续创新以满足多样化的客户需求。

在新技术探索方面,希捷最新技术成果正在通过Mozaic 3+(魔彩盒3+)平台生动展现。从Mozaic平台起步,依托HAMR热辅助磁记录技术、超晶格铂合金介质、新一代写入器、高性能集成控制器等关键技术,希捷已实现了单碟片面密度3TB的飞跃。

在技术的革新与持续迭代浪潮中,Mozaic 4+与Mozaic 5+平台更将会把每碟片存储容量推向4TB与5TB的新高度,持续刷新着机械硬盘的性能极限。这一系列平台的发展,不仅预示着机械硬盘技术的持续突破,更为数据密集型应用提供了更加可靠、高效的存储解决方案,开启了数据存储的新纪元。

随着AI技术的深入发展,从深度学习、自然语言处理到图像识别,每一个领域都在不断产生和消耗着海量的数据。这些数据不仅是AI模型训练的燃料,也是推动科技进步和应用发展的关键资源。

相信,希捷机械硬盘的持续创新与推动,将为全球企业带来更加丰富的存储选择,为AI和数据存储技术的不断进步推波助澜。

推荐阅读
关注数
853
内容数
102
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息