申耀的科技观察 · 2022年07月12日

产能提50%数据库须100ms内响应?看宁德时代用持久内存破题

制造业之所以会成为大数据和AI应用落地的沃土,是因为其在现代化、自动化和数字化后,每一个生产流程中都会产生大量的数据,而数据正是这两类应用发展和落地的重要燃料。

然而,事情都有两面性——随着工业生产规模、效率等不断提升,制造业中负责采集、分析数据的基础设施性能正因存储子系统(包含内存与存储设备)的能力有限,难以应需而涨,导致“数据墙”、“存储墙”或“内存墙”,进而制约智能化生产的现象时有出现。

这些种奇特的墙,或者说系统瓶颈,简单讲就是存储系统的技术更新和发展速度远远落后于蓬勃发展的算力所导致的两者性能不平衡问题,它们会让IT系统在面对海量参数与高维模型时明显地“心有余而力不足”,而这也是大部分企业在大数据和AI应用实践过程中难以避免的问题。

例如,中国知名的新能源研发和制造企业宁德时代,就在不断提高智能制造水平的过程中,遭遇了“存储墙”挑战,最终它导入了英特尔创新的傲腾™ 持久内存,才得以消除这一迟滞数字化生产的瓶颈。

当“存储墙”成为增产提效的瓶颈

宁德时代是全球新能源科技行业和智能制造领域的标杆企业,其新能源+智能制造的双料模范之称背后,有强大的信息化系统给予有力支持。其中,基于 SAP HANA 高性能内存数据库的制造执行系统 (Manufacturing Execution System,以下简称 MES) 承担起了实时产线数据采集、生产质量管理等关键职责。

随着市场需求持续扩大,宁德时代也把持续扩充产能列为最重要的任务,甚至遇到过需要在短时期内将产能提升50%的状况,这在外行看来只需要添购设备和补充人力即可,但当事儿执行起来可远远没有这么简单,不说别的环节,仅从支持生产的IT平台,如MES角度来看,这会让产线对数据处理的高性能、低时延等需求更加迫切。测算显示,要完成这个目标,该系统完成包括产线流向判断、产品质量判别等所有操作的时间必须要控制在 3 秒之内,而留给后台数据库的操作时间只有短短100 毫秒。

这种任务重、时间紧的挑战,让MES一头撞上了“存储墙”——宁德时代MES采用的SAP HANA内存数据库是基于全DRAM内存构建,而磁盘数据库通常部署于时延较高的NVMe、SAS高速固态盘上。其中的内存数据库要想提升性能,就需要提升转换操作的效率,这是因为它主要是以列式存储方式来存放数据,在MES执行OLTP分析时,就要经常与磁盘数据库间执行各类交互操作来完成行-列转换、日志数据同步等工作。而执行这些操作时,内存和磁盘数据库都必须保持“HOLD”状态来暂停工作。

这也就意味着,涉及“临时数据落盘”的操作用时越短,对系统时延的影响就越小,对性能提升也越有意义。

你以为宁德时代MES面临的难题就是这些了么?除时延问题外,可靠性也是它无法回避的重要指标——其数据库每日会新增条目10 亿多条,计算量超过百亿条。为了避免因断电等突发事件带来的数据丢失,它还要每五分钟用Save Point功能将内存数据库中的全量数据存储到磁盘数据库中,同时也要把产线的海量日志实时存储到磁盘数据库中,以满足生产中的严格规范及系统恢复的需要。

上述所有这些操作对宁德时代的MES来说都有较高的优先级且需要保证强一致性,而要回避这些操作之间的互斥性,最好的办法只有加快落盘的速度。

缩短落盘时间对MES系统整体性能至关重要

加速落盘的速度,就意味着宁德时代要解决内存数据库与磁盘数据库间的性能差距问题,换言之,就是要让后者的性能可以更接近前者。可现实是:后者与前者仅时延就有千倍之多!

如此高大厚重的“墙”,可是没那么容易就能突破或翻越的,除非……能有一种全新的存储产品,能兼备内存和存储的优势,即同时拥有接近DRAM的性能和类似固态盘的大容量。

创新介质+产品兼顾性能与容量

就在宁德时代寻求这样一种”两全其美“的方案时,英特尔® 至强® 可扩展平台的新成员——英特尔® 傲腾™ 持久内存产品进入了他们的视野。鉴于此前的存储介质和产品,不论是DRAM还是NAND固态盘都很难兼顾性能与容量,英特尔专门为这款产品配备创新的3D XPoint™ 存储介质,使得其不但能够兼容现有DRAM内存使用的插槽、提供接近于DRAM的性能,还有数倍于DRAM的容量。它这种多面手式的优势,不但颠覆了传统的内存-存储架构,也为宁德时代破解MES“存储墙”提供了一剂对症的良方。

傲腾™ 持久内存弥补了DRAM内存与固态盘间的性能差距

基于傲腾™ 持久内存的特点和优势,宁德时代在评估时就发现可以把它用出多种花样。例如可以把它配置为可持久化存储数据的App Direct模式,再将其用作磁盘数据库的存储载体。这样做的好处就是在执行上文提到的各种交互操作和日志存储时,就能结合它高I/O、低时延的优势来大大缩短落盘的用时,显著提升MES的整体性能。

再比如,傲腾™ 持久内存也可以被设置为内存模式,用作MES主备机中备机的扩展内存,让备机能利用其提供的更大内存容量来承载更多I/O加强型负载,从而明显降低备机系统的总体拥有成本(TCO)。

贴近生产环境实测数据亮眼

先不论有多少种用法,解决主要矛盾刻不容缓,为验证英特尔® 傲腾™ 持久内存对其MES数据库的优化效果,宁德时代在英特尔支持下,贴近真实生产环境,对这一新产品在 Data Merge、Save Point 以及系统重启等场景中的性能表现进行了评估,结果非常亮眼。

以 Data Merge测试为例,归一化后的结果对比显示,采用英特尔® 傲腾™ 持久内存的方案比采用传统 SAS 高速固态盘的方案性能提升高达6.20倍,这意味着 MES的落盘时间显著缩短,由此因各个操作互斥等待而造成系统停顿的概率也会大幅降低。

归一化后的 Data Merge 性能测试结果对比

同时,由于利用到了傲腾™ 持久内存的持久化存储能力,宁德时代MES的重启时间也得以大大压缩。以MES的升级更新为例,每次执行这一操作前,它都需要先把其内存数据库中的TB量级数据存入到磁盘数据库中,待升级更新完成后,再把这些数据读回内存。此前未配备傲腾™ 持久内存时,这一流程往往需要耗时数十分钟之久,这就意味着生产会有较长时间的停顿,这显然是忙着增产和扩产的制造企业所无法接受的。而在导入傲腾™ 持久内存后,这一时长已经缩短至5-10分钟,结果就是产线只需利用正常换班时间,就能高效完成MES的升级更新。

随数据成为生产要素,在工业制造领域,智能化产线等遭遇“数据墙”或“存储墙”挑战已日渐成为普遍问题。走在智能制造前列的宁德时代依托英特尔® 至强® 可扩展平台,尤其是其中的内存-存储架构颠覆者——英特尔® 傲腾™ 持久内存,帮助其MES 消除此前多个因磁盘性能不足而带来的系统瓶颈,为其智能制造的“中枢神经”构建起了更强韧的“神经键”,保障了产线稳定高效运转和产能快速扩展。同时宁德时代这一用例对整个制造业而言也是宝贵的范例与经验,它在实际生产环境验证了英特尔® 傲腾™ 持久内存这一创新型内存与存储产品堪担重任,也能够帮助更多制造业同仁破解智能制造转型中数据基础设施面临的存储短板问题,让其增产提效不再被IT瓶颈所困扰。

也是基于这一成功实践和创新心得,宁德时代已计划将英特尔® 傲腾™ 持久内存引入更多系统和应用场景,来为智能制造打造更广阔的数据通道,并助力强化其在能源行业和智能制造领域的领先优势。

推荐阅读
关注数
2395
内容数
428
专注产业互联网、企业数字化、渠道生态以及汽车科技的 观察和思考。
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息