IT大嘴巴 · 2022年08月22日 · 天津市

构建东数西算一体化存力体系,如何做好存储底座建设?

随着数字经济成为全球经济高质量发展的引擎,企业数据量正在指数级增长,预计到2025年全球数据规模将突破175ZB。在“东数西算”工程中常见的存储业务包括生产数据、灾备数据和存档数据,其特点是容量巨大、长期保存,既要存得下,又要存得好。

海量数据 如何“存得下”

首先,要有足够的空间承载“东数西算”工程的海量数据。
存储作为数字世界的载体和基石,数据存力以存储容量为核心,存储装机容量直接代表着国家和企业在数据时代的核心竞争力。日前,Gartner公布2022年一季度全球存储市场报告,报告显示,本季度全球存储市场装机容量12.7EB,同比增长5.4%;其中浪潮存储装机容量同比增长39.7%,七倍市场平均增速,装机容量达到1499PB,位列全球前三、中国第一。浪.潮存储作为国际和国内存力担当,相当于全球每增加100TB数据存储装机容量,就有11.5TB数据存在浪潮存储中,产品成熟度和竞争力得到了市场的验证。
image.png
浪潮存储装机容量全球前三、中国第一

其次,保证数据在8个枢纽、10个数据中心之间进行快速、高效、安全传输。
浪潮存储拥有业界领先的智能WAN加速技术,采用了免费内置的业务模式,通过提高网络带库利用率,将WAN传输性能、带宽提升10倍以上。具体方法为,浪潮存储采用多数据流并发传输机制:一方面在发送端,会将每个数据流进行免license压缩,可实现2-5倍的数据压缩比;再将压缩后的数据流切成多个固定大小的数据块,给数据块打上序号和校验码,然后向传输通道传输各个数据流的定长数据块,源源不断的发送过去。另一方面在接受端,对每个定长数据块进行校验,一旦发现数据块有误或丢失,就反馈给发送端,发送端只需要重新传输这个小的定长数据块,不需要重传整个数据流。同时,对数据块进行排序和解压缩,还原成各个数据流的完整版。

image.png
浪潮存储的WAN加速技术

东数西算 如何存得好
在全球积极应对气候变化目标下,绿色低碳成为数据中心的重要发展方向,中国经过充分论证研究,规划布局了8大国家枢纽节点,引导大规模数据中心适度集聚,通过实施“东数西算”工程,积极探索构建形成以数据流为导向的新型格局。在“碳达峰、碳中和”大背景下,数据中心产业变革的核心环节在于绿色节能数据中心的高质量发展,通过先进节能技术、高效协同网络和可再生能源来使能数据中心自身和高耗能行业节能降碳,促进实现“碳达峰、碳中和”的宏伟战略目标。

首先,存储底座要采用绿色节能技术,降低数据中心PUE值。

全闪存储是实现绿色节能的核心技术。随着闪存介质的不断发展,其高性能、低延时、低功耗的优势使其成为数据中心的宠儿,全闪存储的占比在国内已达到24%,存储介质闪存化将是未来数据中心的发展趋势。2019年,浪潮就在业内率先提出新数据存储战略,并打造出极致可靠、高效的HF系列全闪存储。HF系列从SSD核心器部件,到存储操作系统,再到算法进行全面创新,保障存储系统稳定可靠运行。HF系列不断打磨“iTurbo 2.0智能加速引擎”,优化资源调度算法,利用更多的CPU核心和线程承载更多数据存储进程,在存储性能委员会组织的SPC-1国际基准测试中,以2300万IOPS的评测值夺得性能总榜全球第一。2022年,浪潮全新推出了新一代SSD高速存储介质,能效比上一代产品提升70%以上,能够帮助存储系统实现绿色低碳。

实时无损在线重删压缩技术能够帮助数据中心提升空间利用效率。借助全闪存储的高性能、低延时、低功耗的优势,利用业界领先的实时无损在线重删压缩技术,可实现相同空间内存储几倍甚至几十倍的数据,帮助节约能耗,实现绿色低碳。
以压缩为例,浪潮压缩技术原理如下:其一,将压缩数据8byte对齐,拿8K字节数据举例,压缩空间利用率99.8%;其二采用内置独立加速芯片,对性能时延无影响;其三,当写入数据时,基于弱哈希+字节对比,确保重删效率数据一致性;最后基于前压缩方式,实现数据在缓存中压缩(专用缓存和压缩芯片),数据存入到磁盘是压缩后的数据量,并通过固定条带技术,充分利用空间。据测算,数据库类应用压缩比例为2:1-5:1,日志型应用最大压缩比例可达10:1。

东数西算 如何实现多协议融合
“万物之始,大道至简”,目前企业的数据类型越来越丰富,“多合一”架构成为企业分布式存储选型的刚需。浪潮分布式存储追求极简,是业内首个支持四合一架构的融合存储,用户购买一套存储享有文件、块、对象和大数据四种服务,其中文件、对象和大数据3种存储服务间可访问同一份数据,数据无需在不同设备间迁移和拷贝,实现存一份数据相当于存了3份,构建成真正的统一存储资源池,业务处理效率翻倍提升,满足性能需求的同时,帮助IT投资运维成本节约30%以上,实现绿色低碳。

同时,还可以对数据进行自动化运维,降低运维复杂度。在数据运维方面,浪潮基于智能统一存储管理平台InView,实现数据中心“硬盘级”的性能、容量、故障智能预测。与传统存储运维相比,传统运维在系统运维、管理中缺少精细化管理策略,仅仅对主机运行做管控,忽略了存储最小物理单元硬盘运维。通过统一的存储数据管理平台实现多套存储平台统一管理,通过统一入口,实现对统一存储和海量存储的的精细管理,嵌入式设计,对外始终只呈现一个系统页面,标签栏切换式操作,多设备间自如切换。能支持在统一的管理软件内,实现对存储系统的容灾复制管理,轻松构建跨设备容灾。 集成AIOPS 功能,针对分布式海量存储,可以实现对磁盘故障的提前预测和告警。提供统一资源存储管理平台,对存储系统进行集中管理、智能监测和故障预测,硬盘两周时间预测准确率可以达到95%以上,增强了东数西算数据中心的健壮性——从以前被动的硬盘坏了以后进行抢救变成主动提前预测,有足够时间窗口对坏盘提前进行数据重构,让EB存储“巨无霸”稳健、连续运行。

“东数西算”工程是对坚持新发展理念、构建新发展格局的贯彻落实,将为中国数字产业化和产业数字化发展打好坚实底座。数据存储作为支撑东数西算工程建设的底层关键技术,高效、安全、绿色、易管理的重要性不言而喻。浪潮存储以全球前三、中国第一的装机容量“存下”海量数据,通过智能WAN加速技术确保数据传输快速、高效、安全,通过全闪介质、实时无损在线重删压缩、多协议融合等绿色节能技术“存好”数据,并通过智能化运维InView使数据中心间的运维更加简便。

东数西算工程刚刚启幕,面向未来,浪潮存储将持续秉承“云存智用,运筹新数据”理念,不断加快研发创新脚步,激活数据源力,释放数据潜能,支撑数字化创新应用,服务数字化中国建设,推动东数西算迈向新征程。

推荐阅读
关注数
1943
内容数
252
专注开放计算、大数据应用、人工智能、企业数字化转型、云计算等领域产业观察及产学研合作。
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息