电视上“见证奇迹的时刻”,背后是魔术师们精妙的手法和积年累月的练习。那些人们眼中天翻地覆的新技术,也并非魔术一样在瞬间发生,而是多年努力的结果。
中国在AI领域的发展让世界瞩目,特别是在大模型、自动驾驶和科学计算等关键领域,取得了显著进展。有人说,中国AI产业的飞跃,好像一场“魔术”,不知不觉间就领先世界了。其实不然。智能计算不同于传统计算,需要坚实的基础设施作为支撑。分布式存储,就是其中之一。
在中国AI上演飞跃“魔术”之前,国内厂商已经在分布式存储完成了“清场”,搭建了一个安全可靠、空间宽广的AI舞台。
赛迪顾问近期发布的《中国分布式存储市场研究报告(2024)》显示,AI、自动驾驶等新兴智能场景,分布式存储的占比最高。同时,国产存储断层领先。华为、中科曙光、联通云呈现“强者愈强”态势,在较大市场份额的基础上,仍保持技术迭代创新,具有更强的竞争力。而Dell&EMC、NetApp、DDN等国外厂商发展则相对缓慢,在某些行业和场景中的优势不再突出。
去年AI大模型爆发,很多人担心大数据、大参数量,“存力”会不会成为中国发展AI的短板,会不会掣肘于海外供应链,今天看来已经完全不用担心。
目前,全国大型智算中心、自动驾驶头部客户、AI大模型头部客户、头部科教机构客户,都选择了国产存储厂商——曙光存储。数据显示,曙光存储在AI、教育等细分市场排名第一,蝉联国产分布式存储市场的“领导者象限”。
由此可见,中国AI的飞跃,其实并非魔术,前提条件之一,是国产存储强势“清场”,让中国AI可以在安全可靠的先进存力底座上,为我们带来“见证奇迹的时刻”。
这场“魔术秀”究竟是怎么完成的?我们就来做“解谜人”,拆解一下中国逆袭AI、国产存储先行的幕后故事。
为什么分布式存储对于AI、自动驾驶等智能计算任务,如此重要?可以用一个“魔术”来理解。
大家一定都看过魔术师将小球抛在空中的表演。手里只有一个球,就像集中式存储,所有数据都存储在单一的设备中,如果设备发生故障,就可能导致整个系统不可用,而且一旦数据访问量增加,就可能面临性能瓶颈,容易存不下、存不全。
抛多个球,就像分布式存储,数据会分布在多个节点上,每个节点独立管理自己的数据,具有更高的冗余和可靠性,大量并发访问可以通过灵活拓展来快速添加更多节点。
而AI任务,就必须用到分布式存储这样多节点的复杂“抛球”技能了,为什么呢?
一是大数据量。业界已经开始规划万亿模型,如此庞大的数据与模型,分布式存储系统的性价比、灵活拓展特性,可以提供充足的存储空间。
二是高并发。大模型需要频繁地读取和调用数据,其中还包括很多非结构化数据,需要并行读写能力。分布式存储架构允许数据在多个节点上并行读取和写入,大大提高了数据的访问速度,这对于需要实时处理大量数据的AI计算任务来说至关重要。
三是高可靠性。大模型训练、科学计算模型、自动驾驶等任务,一旦存储系统出现故障,影响到数据的连续性和可用性,所带来的金钱、时间和其他潜在损失是巨大的。分布式存储能够更好地满足AI计算任务对系统可靠性的要求。
所以,分布式存储逐渐成为智算中心、大模型、自动驾驶、AI for Science科学计算等领域的标配。
一场精彩纷呈的“AI魔术秀”,分布式存储是至关重要的环节之一。
AI是很多国计民生行业及数智服务的技术基础,必须运行在自主研发、可靠可信的分布式存储产品和基础设施上。
挑战在于,分布式存储要协调和管理好多个存储节点,保证业务连续性和高效运行,就像魔术师要同时让多个小球在空中转动,是个高难度技术活儿。国产厂商能担此任吗?
《中国分布式存储市场研究报告(2024)》中提到,分布式存储自研对团队能力要求较高,要重点关注面向应用需求且具备核心自研技术的厂商,团队核心成员的科研履历,以及公司既有分布式存储产品部署的项目经验等。近年来,以曙光为代表的一批国内存储厂商,市场竞争力快速提升,逐渐站在了舞台的中央,呈现“强者愈强”态势。
国产存储以显著优势领先于海外厂商,在分布式存储市场强势“清场”,到底是怎么做到的?
我们不妨以曙光存储为例,报告显示,曙光存储又一次进入分布式存储的领导者象限,并在新兴场景如AI、自动驾驶等登顶第一。
产品方面,曙光存储通过技术创新,满足复杂智能计算任务对先进存力的迫切需求。比如气象数据不仅体量大,而且种类繁多,科研院所在进行气象预测时,基于曙光的分布式存储架构,数据可从任意集群写入和读取。新一代ParaStor依托NVMe全闪的技术优化,单节点带宽达到130GB/s,为气象预测提供了强有力的数据支撑。扩容过程中上层业务无感知,保障了整个气象预测系统的稳定性。
市场方面,曙光存储深入调研细分场景,针对性打造更适配AI应用的解决方案,吸引了大模型企业、高校教育机构、自动驾驶厂商等行业客户。
在分布式教育场景市场中,曙光存储加速助力高校科研教育创新,表现出较强的竞争力,目前已落地华南理工大学、复旦大学、国家气象局、良渚实验室、西湖大学等多所高校和实验室。
在自动驾驶场景中,曙光ParaStor分布式存储系统通过灵活配置和自动适应功能,满足自动驾驶各个流程的应用需求,保障数据安全和访问合规,加上从2022年到2024年间,曙光存储连续为某头部自动驾驶企业提供超百PB的存储资源,积累了系统部署及长期运维经验,为自动驾驶企业存储系统稳定运行提供坚实保障。曙光存储带来的先进存力,成为自动驾驶商业化的加速助力。
类似的场景还有很多。比如金融机构在处理银行、保险等业务时,曙光分布式存储能够为复合型业务负载提供强性能保障,减少系统故障、业务中断。
中国一系列AI技术和产品蓄势待发,准备上演一场科技盛宴。幸好在此之前,曙光存储为代表的国产存储,已经夯实了应对各种挑战的存力底座。通过关键技术的自主研发,提供满足国内市场需求的分布式存储产品,并成功完成了“清场”,减少对海外不稳定因素的依赖。
总体来看,国产存储的发展和进步,为正在上演的精彩科技“魔术秀”,搭建了一个稳固的基础。
AI时代的大幕缓缓拉开,中国AI力量强势登场,对存储基础设施也提出了新的要求。去年以来,中国存储行业在新产业阶段的发展方向和市场策略是什么?引发了各方的好奇与关注。
一年之后,曙光存储为代表的国产厂商,已经给出了答案,那就是与时代共舞,与AI共舞,积极推动存储技术变革与AI行业场景融合创新。
问题来了,在AI技术迅猛发展的浪潮中,国产存储是如何跟上AI的脚步,与行业客户的需求同频,快速而精准地将分布式存储带到一个个行业场景中的呢?
我们可以从曙光存储的动作,解析国产分布式存储的AI进击之路。
上场之前,要有扎实的基本功。
中科曙光是中国领先的信息产业公司之一,聚集了大量顶尖专家和研究人员,拥有强大的科研技术支撑。自2004年起,中科曙光就开始自研分布式存储技术,为后期的技术突破和成果产业化应用,奠定了扎实的基础。
大幕拉开,靠顶尖的技术实力及时登场。
2023年大模型的爆火,以及数字要素市场化、智算中心建设等需求叠加之下,国内市场对先进存力的需求激增,属于分布式存储的时代大幕拉开,谁能把握机遇?
中科曙光凭借引领行业前沿的分布式存储技术能力,为国内十余家大模型企业及智算中心提供数百PB的存储资源,并基于多年存储技术积累与行业洞察,推出自动驾驶解决方案,依靠技术实力快速完成了市场拓展,拥有了“强者愈强”的优势身位。
贴身共舞,用深入的行业洞察助力AI。
做AI、自动驾驶客户的“最佳辅助”,曙光存储不断寻求极致突破,满足大模型厂商、自动驾驶企业、科研机构等客户,对强性能、高可靠、绿色节能等的核心需求,升级后的ParaStor分布式全闪存储更加契合AI相关业务场景,成为“最懂AI的存储”。
曙光分布式存储,不仅能够满足当前国内AI市场的存力需求,更为即将到来的“AI is everywhere”阶段,预留了充足的增长空间。
AI,是时代聚光灯下的技术新星,毋庸置疑地引领着未来。而中国AI在世界舞台上大放异彩,离不开国产存储提供强大的后盾。
接下来,我们将看到国产存储与AI的结合愈发紧密,携手前行,在世界舞台上绽放中国科技的光彩,创造出无数个新技术突破的时刻,让我们一次又一次“见证奇迹”。