15

前沿科技探索家 · 2021年11月17日

AI存储框架Data-O重磅发布,助力AI生产流程再加速

人工智能产业如火如荼,百度智能云为机器学习再添新利器。

近日,百度智能云、英特尔、聚云科技(猎豹旗下)基于多年的生产实践共同研发了面向AI的存储框架—Data-O,全面提升AI产业生产效率,助力客户快速完成数字化转型和AI能力升级。

Data-O:解决AI生产链中的存储难题

众所周知,AI是一个“数据+算力+算法+场景”的综合体,高质量的数据需要反复通过高效的训练学习,才能发挥满足市场需求的AI能力。而一谈到大规模AI训练,业内首先关注的是框架和算子的优化,鲜有人谈到AI的存储系统。矛盾的是,在AI生产的整个链条中,存储一直是最棘手的问题,存储系统是大规模AI训练实现资源调度和性能优化的关键所在。

此次推出的AI存储框架—Data-O,正是为解决这个问题而生。该框架基于多年AI框架、高性能存储、新存储介质的深度技术积累和丰富的生产实践,面向DataOps和MLOps,能加速AI应用的生产流程,全面提升数据中心和算法人员的工作效率,助力客户快速完成数字化转型和AI能力升级。

优于传统HPC存储框架,更适合机器学习

在长期的机器学习研究过程中,我们深刻感受到传统的HPC高性能存储框架不适用于面向机器学习的HPC,越来越成为制约机器学习快速发展的瓶颈。

机器学习是一个系统化的工程,数据的使用不仅仅是要解决性能问题,数据的管理效率对于AI这种流程化框架系统也尤为重要。Data-O可以提供完善的数据流程化管理、AI框架存储方案。

除了软件层面,我们同时也要看到,未来存储技术的发展将由工作负载的需求来驱动,庞大的数据集将在未来不断涌现,像AI、物联网等这样的工作负载,都需要越来越高的性能,进而可以快速地访问海量的数据,因此存储必须要是灵活多变的,并能够为各种复杂的工作负载提供持续的、可靠的,且按需扩展的高性能服务。

AI训练场景对处理器的吞吐稳定性要求较高,AI存储框架联合英特尔推出软硬件一体化的解决方案,能够满足不断变化的需求。

百度智能云认为,通过英特尔®傲腾™固态盘的特性,提升了大规模多机多卡并行训练、多租户混合读写的高并发场景存储系统的稳定性。同时,英特尔®3D QLC NAND提供极致的性价比。通过软硬件的综合优化,在面对千万级的大训练集环境下,AI存储框架依然可以保障稳定的高性能吞吐,保障处理器的使用效率。

通过这样的整合,此次推出的存储框架Data-O,除了有优于传统HPC系统的高性能、高稳定、安全灵活等特点外,还具备更强的兼容性与可扩展能力,以及完整的生态解决方案能力,能够面向不同特征的用户,提供完备的解决方案,加速AI在各行各业的落地,提升AI的整体生产效率。
74.jpg
不辱使命,共赢AI时代的全面到来

Data-O中的O是AI存储框架的目标Objective,代表了Data-O的三个关键使命:

Optimize Performance, 即优化性能,让存储性能不再是机器学习的瓶颈;
Orchestration,DataOrchestration即数据编排,让训练数据高效利用;
Ops,Data-Ops for AI,即让数据流程自动化,全球性混合云资源可安全调度利用。

百度智能云和英特尔长期致力于AI的核心技术发展,已经联合推出过多个产品及解决方案,广获各界用户好评。而聚云科技是猎豹移动旗下子公司,承载母公司猎豹移动AI战略落地,拥有丰富的AI框架与MSP服务实践经验。此次的合作可谓强强联合,为业界在机器学习存储领域的创新提供了良好范本。

面向未来,我们将持续强强联合,紧密合作,为AI时代的全面到来做好技术与实践储备。

推荐阅读
关注数
12971
内容数
325
带你捕获最前沿的科技信息,了解最新鲜的科技资讯
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息