IT大嘴巴 · 2023年09月11日 · 河北

为大模型而生,高性能分布式AS15000G7让存力唾手可得

凡有井水处,皆谈大模型。

8月31日,国内有多家大模型通过《生成式人工智能服务管理暂行办法》备案,并随即面向全社会公众开放服务,这也预示着AIGC大模型应用已经“名正言顺”,正式走上了商业化之路。但这也同样对IT基础设施产生了巨大挑战。在许多人看来,AIGC需要强大的算力,据说英伟达的GPU订单已经排到了2024年年底;但是另一方面,海量数据的存储也同样让许多大厂头疼不已,甚至按照这样的发展速度,存力也将成为下一阶段的行业新需求。因此,提前布局存力应用不仅是必要的,更是积极的。

image.png

日前,浪潮信息发布了高性能分布式存储,它瞄准了AI大模型云联与海量数据存储这一市场,助力AIGC在金融、教育、医疗等领域突破海量多元异构数据存力瓶颈,加速释放数据价值。

大模型应用需要怎样的存力?

“算力、存力、运力缺一不可,只有三者平衡配置、均衡发展,才能充分发挥算力的作用”,在不久前举办的“2023全球数字经济大会”上,中国工程院院士倪光南如是说。在他看来,算力固然很重要,但是算力中心的起步离不开数据处理能力、数据存储能力、数据传输能力三大因素共同发力,如果没有适当的存力和运力配合,或者配合不当,那么算力的作用就得到不到充分发挥。存力是数据中心在数据存储容量、性能表现、安全可靠和绿色低碳四大方面的综合能力。在数字经济背景下,存力是支撑大数据时代的关键指标。

于是在当下的大模型时代,存力应用也对数据中心基础设施提出了新的要求。按照中国信通院统计,2021年我国数据中心存储容量已达800EB,但是算力中心采用SSD的先进存力占比仅为24.7%。建议加大SSD先进存力的采用比率,特别是在存储设备的集采、招标等项目中,可以优先支持SSD,以促进SSD产业发展。

AS15000G7的推出也恰恰迎合了这一趋势。在本次发布会上,浪潮信息提出了“1:1:1黄金比例”的概念,即“1个GPU节点,对应1个全闪存储、对应1个混闪存储” 。之所以如此,一方面是得益于浪潮信息对存储行业的应用观察,另一方面也是浪潮信息认为未来全闪存储将会成为行业应用的主流,甚至按照当下SSD发展的趋势,2.5英寸硬盘将会快速淘汰,而3.5英寸机械硬盘将会与SSD保持长久的共存,因此未来的大模型应用除了算力节点之外,还需要根据冷热数据的配比搭配全闪节点和混闪节点。

其实对于大模型应用,浪潮信息相比其他IT基础设施服务商有着更清晰的认知,因为早在2021年浪潮信息就发布了中文大模型平台——源1.0巨量中文AI模型(下称“源1.0”)。据悉,该模型的参数规模高达2457亿,训练采用的中文数据集达5000GB,相当于26万亿汉字,几乎囊括了当时所有的中文互联网内容,甚至相比当年的GPT-3都更为复杂。

这也成为了浪潮信息在大模型领域发力的底气,毕竟多年的大模型研发已经为浪潮信息积累了大量的行业经验,也明确了大模型需要怎样的存力平台。“我们现在做的源大模型里面,实际上就用了我们的存储,并进行了优化。我想,一般品牌可能很难搭建一套大规模集群,应该说我们在这方面有先天的优势”,分布式存储产品线总经理姜乐果介绍说。

AS15000G7存储,打造“四个极致”

也正是基于这些应用实践,浪潮信息推出了AS15000G7存储,主打的就是大模型应用。它在设计之初就秉承了“存储即平台”的产品理念,结合大模型应用场景的客户痛点进行优化,并为客户提供了数据全生命周期存储解决方案,在性能、管理、融合和效率方面等方面都有更突出的表现——

首先就是大模型训练的性能加速。我们知道,大模型训练的时候需要海量数据支撑,而这些数据如何实现调取和应用,就是存储设备的问题。对于AS15000G7来说,它一方面可以通过GDS、RDMA技术缩短I/O路径,并通过智能元数据管理,提前缓存用户数据和文件系统元数据,显著提升数据访问和检索速度。而在传输方面,借助于智能网络优化技术,AS15000G7还能够同时与多个子网与指定目的地通信,这样大大提升了网络端口的传输效率,将时延降低了50%以上,尤其是零星小文件的传输更可以达到毫秒级。

数据管理能力也是AS15000G7存储的优势之一,甚至可以说是它的核心竞争力。其实浪潮信息很早就开启了AI应用的研发,而其特色的AIStation调度平台和InView数据管理平台则可以对AI服务器、网络、存储实现智能运维。每当发现问题,系统都可以第一时间报警,并通过界面化的平台帮助运维人员快速锁定问题,早发现早处理,提升运营效率。不仅如此,通过智能化程序,包括磁盘与SSD在内的寿命预测、包括多品牌存储管理和资源分配等等也都是得心应手。换句话说,客户只要一台AS15000G7存储就可以实现数据采集、清洗、训练、推理、归档不同场景全流程的设备资源监控和管理,助力客户更加专注于大模型训练本身。

虽然当下大模型应用还是聚焦于文本和少量图形图像处理,但AS15000G7存储作为大模型的“最强CP”,其存储能力和协议支持远不止于此。基于融合架构,AS15000G7存储可以支持文本、图片、音频、视频等多种类型的结构化、非结构化数据,并可以实现多协议实时互访互通和系统扁平扩展,保持语义一致、性能无损,从而实现高效共享。

这样性能出众,功能强大的存储平台,是不是价格很贵,能耗很高呢?其实并没有。据姜乐果介绍,AS15000G7平台基于自动化的数据分层和迁移,在确保对应用安全透明的前提下,可实现热温冷冰数据全生命周期的管理,用户可以自由配置闪存、磁盘、磁带、光盘等类型,选择最适合自身业务的配置;不仅如此,秉承浪潮信息“All In 液冷”的理念,AS15000G7还可以配置2U12盘、4U60盘等规格的液冷节点,提供更好的能效比,也满足当下行业对于绿色低碳的需求。

至此,通过极致性能、极致管理、极致融合和极致效率,AS15000G7存储打造了“四个极致”,也为用户的大模型应用提供了智能化的选择。在浪潮信息看来,随着大模型应用的训练模型从LLM(语言类大模型)、A/SLM(语音类大模型)、CV(计算视觉)、VL(多模态大模型)到FMLM(全模态大模型),对数据存储容量的要求也从PB级到EB级,存储带宽的需求从100GB/s到TB级,存力应用的需求将会越来越迫切,挑战也将越来越大。而浪潮信息要做的,就是将客户从底层设备的运维苦恼中解脱出来,专注于AI模型训练本身,也就是更专注于自身业务的应用。

或许要不了多久,数据存力也能像算力、像水电那样方便易得,真正赋能千行百业,服务大众,加速数字化应用,让我们过上更好的智慧生活。

推荐阅读
关注数
1932
内容数
249
专注开放计算、大数据应用、人工智能、企业数字化转型、云计算等领域产业观察及产学研合作。
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息