E企研究院 · 2021年08月19日

苏州超集:如何为深度学习加速?

从20世纪80年代以来,深度学习在算法、理论和应用等方面都获得巨大成功。

在人工智能的潮起潮落中,2006 年以来,“深度学习”开始成为一个新的科研热点,开始深入到很多行业,在很多应用领域获得成功,相关的研究工作也得到了大力推广。

而随着各行各业数据量增加,类型增多,数据结构也趋于复杂化。传统的数据中心平台设备部署相互独立,需要较大的部署空间,存在着部署难、成本高等缺点,难以满足用户的要求。同时,软件、基础硬件、依赖包等品牌的类型众多,CPU型号多,不同的任务所需资源各异,增加了选型难度;此外,系统架构部署相对复杂,各种框架、模型的适配困难;系统容易出现各种故障,维护复杂等问题凸显。

为了应对这些庞杂的需求,苏州超集信息科技有限公司(以下简称“超集信息”)开发的深度学习AIO解决方案,为科研和应用领域提供一站式部署以及前所未有的便利与高性能。

软硬集成 助力轻量级AI业务快速上线

超集信息的深度学习AIO 解决方案采用软硬一体化概念,深度融合机器学习平台与传统硬件,将第三代英特尔® 至强® 可扩展处理器作为核心算力支撑,部署了自研的AI Max深度学习平台并集成英特尔® OpenVINO工具包,充分利用AVX512特性,助力轻量级AI业务快速上线。

同时,该一站式方案可配合用户算力需求,支持高度定制基于第三代英特尔® 至强® 可扩展处理器的一体机的硬件配置。将现行的深度学习框架进行了整合和性能优化,封装大量底层操作,出厂前完成功能调试,实现开箱即用,大大降低深度学习从业人员的技术门槛。

超集1.png

打造专属的深度学习应用平台

AIO解决方案包括计算节点,存储节点和管理节点三部分:

计算节点

采用搭载的第三代英特尔® 至强® 可扩展处理器的高性能服务器作为计算节点,并在其上部署英特尔® OpenVINO工具套件。

英特尔® OpenVINO工具套件为用户提供了出色的深度学习推理工具,在第三代英特尔® 至强® 可扩展处理器增强的 AVX-512 指令和 VNNI 指令的加成上,极大地提升了推理的性能。英特尔® OpenVINO不仅提供已经训练好的主流深度学习模型,而且提供模型转换器将FP32模型转换为INT8模型,在可接受的精度损失下,提供成倍的推理性能提升。

Al Max机器学习平台是一款基于Docker+Kubernetes的全容器化人工智能容器云平台,深度整合了第三代英特尔® 至强® 可扩展处理器的加速特性,并将OpenVINO工具套件深度集成到AI Max机器学习镜像库,充分利用AVX-512指令集和Deep Learning Boost加速技术,能有效实现异构资源的高效管理、调度和监控,提供了从模型开发、训练到部署的完整流程和工具。广泛适用于教育、科研、金融、医疗、能源各个行业;能极大降低人工智能进入门槛,提高人工智能创新和研发的效率。

AI Max图片.jpg

AI Max 机器学习平台的核心优势:

1) 具备智能的资源调度能力,按照CPU、Memory等使用情况动态调度资源,针对不同的优先级需求,保证任务最优分布,最大化提高资源使用效率,实现优先抢占、择优使用、按需分配、自动释放;

2) 提供丰富的机器学习镜像库,支持用户进行自由定制镜像,支持用户私有镜像的分享,提高镜像获取的效率、减少存储空间要求;

3) 支持通过VNC、SSH等方式进行模型开发调试,支持远程Debug和运行环境保存;

4) 基于SR-IOV容器网络接口,使用RDMA协议进行网络通信和数据读写,支持NFS本地缓存和基于GlusterFS的分布式存储,支持分布式训练和存储;

存储节点

采用搭载第三代英特尔® 至强® 可扩展处理器的多盘位服务器构建统一存储池,支持文件、对象、块存储,为用户提供高性能、易管理、易维护的存储平台。

管理节点

采用搭载第三代英特尔® 至强® 可扩展处理器的服务器作为管理节点,相比第二代英特尔® 至强® 可扩展处理器,第三代有着杰出性能提升,具有高性能、高稳定性、高可靠性的特点。

超集3.png

深度优势整合一站式解决方案

超集信息的深度学习AIO 解决方案融合传统硬件与深度学习软件,AI Max作为统一的资源调度管理平台,融合第三代英特尔®至强®的强大计算资源,打造软硬件一体的深度学习平台,加快平台中的快速整合,安全高效的数据管理,全面细致的监控管理,简化并降低开发人员开展深度学习研究的复杂度和门槛。

1

唯一内置深度学习加速的数据中心级处理器

第三代英特尔® 至强® 可扩展处理器是目前唯一内置人工智能加速功能的数据中心处理器。与第二代相比,第三代处理器采用均衡优化的架构,提升核心性能、内存和I/O带宽,通过AVX-512指令集和Deep Learning Boost加速从数据中心到边缘的各种工作负载技术。

第三代英特尔® 至强® 可扩展处理器的加速特性能在各种平台中被快速整合,AIO解决方案深度整合相关性能特性,为用户提供极致的性能体验。

基于英特尔® OpenVINO的高效推理性能

英特尔® OpenVINO内包含大量预训练模型,这些模型已经由英特尔®调优和封装,方便用户二次开发。用户可调用OpenVINO模型转换器,将模型转换后对模型进行优化,实现深度学习模型成倍的性能提升。此外,它还支持模型精度转换,可将预训练的FP32模型转换成INT8模型,降低精度损失,保障推理的准确性、完整性与时效性与第二代相比,OpenVINO模型推理在第三代英特尔® 至强® 可扩展处理器上的推理性有明显的提升。

WechatIMG262.png

WechatIMG263.png

3.

高效集成、灵活可扩展的一站式解决方案

与市场上的常规解决方案相比,深度学习AIO解决方案在出厂前完成软硬件集成,并作为一站式解决方案交付:

简化深度学习环境的部署复杂性,提高资源利用率;

提高训练和推理环境的适用性,突破性能瓶颈;

具备资源调度、镜像定制、模型开发调试等功能;

安全高效的数据管理,全面细致的监控管理。

此外,方案支持灵活调节节点的数量和配置,可以很容易地扩展到更加广泛的行业应用和客户群体中去。

结束语

作为一家以数据中心、高性能计算以及OEM解决方案的领先企业,苏州超集信息科技有限公司正凭借42年IT整体解决方案经验、12年HPC计算解决方案经验和8年AI计算解决方案经验, 致力于攻克复杂计算挑战,满足产品研发需求,集成虚拟化应用,立志成为全球定制化解决方案的先行者。

推荐阅读
关注数
5020
内容数
335
E企实验室由E企研究院专职产品技术分析师针对数据中心、云计算、AI和5G等领域最新技术和应用研究、验证、试用、分析,数据中心级新产品新技术的市场教育,国内唯一同时研究互联网和传统企业IT基础设施的机构和部门
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息