2024年,全球各个国家、地区,乃至千行万业都迎来了对AI技术空前高涨的热情与关注。在中国,两会政府工作报告中首次提出了“人工智能+行动”;在欧盟,欧洲会议通过了具有里程碑意义的《人工智能法案》;在中东地区,迪拜通过了最新的人工智能战略,希望打造全球AI中心,沙特建立了数据和人工智能管理局(SDAIA),负责领导国家的AI战略。
今天,AI时代已经真正来临。与此同时,全球各方,产学各界也意识到一个问题:AI绝不仅仅是模型和算法的问题,而是对整个数字化基础设施的全新考验,是一场算力、存力、运力的综合比拼。
其中,存储是一个无法被AI时代忽视的支点。AI大模型对存储提出了哪些需求?什么样的存储,才能够称为AI存储?存储产业如何在新时代找到新路径?
(华为数据存储产品线总裁周跃峰)
带着这些问题,我们来到了华为中国合作伙伴大会2024。与华为数据存储产品线副总裁樊杰进行深度交流,了解华为存储走进AI时代的思考与行动。
在本届大会中,华为提出了“以存强算、以存强训、以存强安”的理念,希望为业界打造领先数据基础设施,推进全场景闪存化。在这个节点,回顾华为存储一路走来的战略布局,会发现它的每一步都与AI时代的脉搏紧密相连,提前预判产业走势,最终以极高的效率对大模型训推、数据觉醒等需求给出了精准回应。
当存储产业,面向AI时代的漫漫旷野时,华为存储已经率先实现了AI ready。
我们可以将其定义为一次拓路,帮助存储产业拓开AI之路,帮助全球用户拓开存力之路。
不妨一起来回顾一下,华为存储的AI拓路是如何完成的。通过这个过程,我们能够共同推导出一个结论:AI时代,存强则强。
AI时代,存强则强
在以深度学习为基底的本次AI复兴中,智能与数据间的联接价值达到了史无前例的高度。主流AI技术的工作机理,无不建立在算法对数据进行充分学习的基础上。因此,数据的规模庞大、质量高、流动效率强,对AI技术的发展起到了决定性的意义,而数据的保管、流动、安全水平,都建立在存储能力的基础上。
从这个逻辑出发,我们可以发现目前AI技术涉及的各个阶段,都出现了存弱则AI弱,存强则AI强的现象。
首先是在AI模型最基本的训练阶段。
可以看到,随着AI大模型的兴起,大规模集群化训练已经成为主流。而在AI训练集群场景下,任何一个瓶颈点都会影响到整个集群的效率,其中存储的表现尤为关键。比如说,GPU大量时间都在加载数据,如果期间出现加载失败,就需要中断后进行断点重新录入,耗费大量时间。传统的存储解决方案没有适配AI训练的存力加持,会因为存储表现不佳全面拖慢整个AI训练集群的表现。
因此,越来越多的专家与企业认为,AI训练需要专用的存储。比如说,英伟达官方提供的AI训推IT参考架构,就专门强调了大模型训练需要使用外置的专业高性能共享存储,以此来提升训练过程的效率与可靠性。这是因为在万卡集群这样的大规模训练场景下,传统的存储模式会导致单个盘的故障,拖累整体数据传输效率,并且定位故障需要耗费较长的时间,导致训练工作频繁暂停。而让AI算力直通存储的新模式,则可以大幅提升AI训练集群的数据读取效率,进而缩短模型训练时间。要知道,在今天的情况下,AI大模型的训练效率就是千行万业的产业效率。除此之外,适配AI训练的存储,最好还可以实现更高效的数据管理,更简便的数据清洗,以此来全方位强化AI训练工作。
其次,是在企业数据的保存与流通阶段。
伴随着AI技术的崛起,企业的数据价值愈发宝贵,而企业所需要存储的数据量在指数级增长。且原本只需要存放的冷数据,也因为AI技术的加入而变成了温数据,甚至热数据,需要随时参与数据流动。与此同时,在数据资产化的浪潮下,企业也希望数据具有更强的流通能力,从而真正发挥资产价值。在一系列AI技术带来的衍生场景中,企业都需要更强的存储能力来筑牢数据资产,实现数据资产的可流通属性。
再次,是中小企业数字化进程中的数据成本问题。
在AI技术的发展进程中,我们希望智能化的价值是普惠多元的。但客观来看,中小企业想要获得同等的AI竞争力,需要付出更大的数字化基础设施建设成本。如何实现中小企业的存储升级普惠,尤其是完成全闪存的更迭,也是存储行业面临的挑战。
最后,是数据安全风险加剧的问题。
在数据资产价值不断升级,且AI大模型需要高频次调动数据的新阶段,企业面临着以勒索病毒为代表的更深刻、更具体的数据安全问题。数据保护需要从被动保护向主动安全跃迁。
从以上种种不难看出,在智能化体系中,数据存在居于底座地位,并且牵一发动全身。适配AI时代的存储,不仅是单一存储技术的升级,更是对经济智能化所产生综合存储升级的回应。
存强则AI强,存强则数据强,已经成为AI时代真实而深刻的风向。
智能大势,筑基为先
在这样的智能化大势下,存储产业应该如何回应?如何抓住重点,破局谋篇?
华为存储的选择,是首先为AI大模型建立起存力底座,让AI技术所涉及的各类非结构化数据都能统一入湖。有了基础底座,向上的一切架构延展、功能添加才不会变成空中楼阁。
面对智能化的大势所趋,华为存储选择先筑牢基础。在不久之前的MWC 2024期间,华为存储发布了AI数据湖、全场景数据保护和DCS全栈数据中心三大解决方案。AI数据湖,就是构建华为存储为AI时代构建的存力底座。
具体而言,华为AI数据湖解决方案,具备数据管理DME、一站式知识生成工具链eDataMate、数据编织Data Fabric,以及OceanStor A800/A310等全新AI存储底座。其中新一代高性能NAS存储OceanStor A800,可以通过数控分离架构、OceanFS高性能并行文件系统、双向灵活扩展等能力,支撑大规模AI训练集群的实时调度,成为AI大模型的存力底座。
AI数据湖对AI时代能够起到哪些层面的加持与支撑?我们可以分三个层面来分析。
首先,AI训练必须使用大量非结构化数据,尤其是图形类数据。AI数据湖具有强大的数据收集能力,可以确保所有数据种类都能入湖,从而使能AI训练场景下,数据的全局可视、可管、可用,让训练数据归集、预处理和训练的效率倍增,进而全面提升大模型训练效率,缩短训练时间。
其次,AI数据湖具有数据清洗能力,从而可以通过先清洗再进行训练,缩短AI训练的等待时间。数据清洗能力的加入,让存储能力与AI训练场景的适配度进一步提升。
此外,OceanStor A800/A310等全新AI存储产品,具备TB级的带宽,能够实现极强的数据加载能力,可以全面提升数据的加载速度,从而兼容到分钟级别的数据加载。通过数据加载能力的升级,AI训练可以更加高效准确,让宝贵的AI算力得到更高的使用效率。
整体而言,面向突然爆火的AI大模型,华为存储基于长时间对AI存储的理解与布局,用最快速度给出了回应。AI数据湖就是这种回应的集中表现,其通过软硬件结合搭建起了完整的AI存储体系。这一体系架构具备强大的AI训推效率,以及优秀的可扩展性,能够满足未来几年的持续演进,与AI大模型技术发展并轨发展。
筑牢基础,是破局一个新趋势、新需求的关键。AI数据湖,就是华为存储为AI时代筑下的基础。
它会成为一把钥匙,一个枢纽,容纳华为存储的多元发展思路,进而打开企业存储升级的多种可能性。
三流合一,存以致用
面向AI时代,存储产业的需求是非常多元复杂的。其中容纳了AI大模型的训练推理需求,也有中小企业的普惠发展需求,以及贯穿全行业的存储安全需求等。因此,华为存储也执行了面向多元需求的发展策略。
我们可以将这种策略归纳为存力升级的“三流合一”。
第一条支流,AI ready。
我们前文所重点讨论的AI存储能力,已经成为华为存储的核心差异化竞争力。可以说,通过具有前瞻性的布局与产品打造,华为存储在行业内率先实现了AI ready。未来,面向AI场景的存储能力将愈发重要。AI相关布局也会持续融合为华为存储的差异化竞争力。
第二条支流,全场景数据安全。
在AI技术爆发式发展,数据价值不断提升的今天,也要看到安全隐忧也被同步放大。从近两年的情况看,勒索病毒持续泛滥,并且已经真实危害到了金融、电力等涉及国计民生的核心产业。面向存储的高安全需求,华为首创了存储与网络协同的多层联动勒索攻击防护(MRP)解决方案。通过2道防线,6层防护来构建全场景的数据安全能力。这一能力已经美国权威机构Tolly认证,可以100%实现防勒索病毒有效。随着安全能力在数字化体系中的价值占比不断提升,存储原生安全将成为新的行业战略高点。
第三条支流,全场景闪存普惠。
伴随着各行业对数据存储综合能力需求的提升,越来越多中小企业希望进行全闪存升级。面对这一需求,华为在业界率先提出了闪存普惠理念,并且在目前阶段,发布了含OceanStor Dorado 2100、OceanProtect X3000等全闪存系列产品,可以为企业带来性能十倍,更好能耗比,且综合成本没有显著变化的全闪存产品,助力中小企业的数字化升级。
为应对AI时代带来的一系列变化,满足AI训推、闪存普惠、全场景安全等核心需求,华为打造了综合性的全场景数据存储产品与解决方案。其中富含的战略目标,用华为自己的总结可以归纳为——以存强算,以存强训,以存强安。
在华为存储“三流合一”的发展节奏背后,核心是应对时代变化、需求变化的“存以致用”。只有给出准确的技术升级与产品打造,才能让不同需求、不同行业、不同发展阶段的企业,都能够用存储强健自身的智能化选择。
企业有了更有用,更好用的存储能力,AI时代才能够从旷野变成航道。
拓路旷野,设立航标
AI ready、全闪存普惠,以及全场景安全等能力的构建,不仅强化了华为存储自身的市场价值,更对整个存储产业起到了积极的影响。
在今天的存储产业眼中,AI时代还是一片朦胧的旷野。业界对于AI需要适配的存储产品具有宏观上的共识,但缺乏具体的可执行方案。
从眺望旷野到抵达目标,行业需要一条路。需要先进的产品作为发展导向,需要强大的技术能力作为发展标准,需要丰富的客户实践作为发展依据。这种情况下,华为存储做的事情其实就是拓路,通过在全新的AI旷野踏出一条路,华为为全球存储产业设立了航标。
面向AI时代的航标,具有两重价值。首先从横向的客户价值层面看,华为存储的AI ready让全球客户有了面向AI时代的数据底座选择,同时也有了全力智能化发展的底气与信心。
一家新加坡的TOP级银行,基于华为存储提供的相关能力构建了金融智能化能力。东南亚的TOP级电商,在华为存储的帮助下搭建了千卡级别的AI数据湖底座。在中国市场,科大讯飞与华为存储合作,用AI数据湖搭配400G网络,大幅提升了星火大模型的训练效率。
丰富的客户实践表明,华为存储在AI时代展现出了更强的竞争力,不仅其性能好、可靠性高的产品优势得到进一步释放,更以对AI场景的理解获得了新的机会。
在全球市场上,华为存储已经是当之无愧的第一梯队。根据3月4日Gartner发布的《2024年Gartner Peer Insights主存储客户之声》报告,华为存储在全球厂商中脱颖而出,独家获得了全球“客户之选”。
本次评选共有业界主流的21家厂商参与,华为OceanStor存储收到来自亚太、欧洲、中东等区域的数百个客户评价,覆盖运营商、金融、教育、医疗、能源、制造等行业。客户一致认为华为存储最符合自身期待,提供了全球最佳的使用体验。这一幕对于中国存储产业来说可谓是前所未有。
而从行业纵向发展的角度看,华为存储率先打造了符合AI时代需求的技术架构与产品体系,让行业有了向前发展的航标。
比如说,可以看到华为在业界率先提出了AI数据湖概念,已经起到了引领市场的作用。全球各大厂商都在加强对AI存储的研发投入,从而带来整个AI时代的进一步增长,实现存算之间更加平衡的适配。
总结来看,通过洞察AI时代的存力需求,打造AI存储基础设施,推进“三流合一”的发展策略,华为存储一步步实现了面向AI旷野的拓路。
在其努力下,存力不再是滞后与缓慢发展的一环,AI时代的基础设施巨变有了齐头发展的可行性。
AI时代,存强则强。换言之,我们可以以存力强AI,以存力强时代。