E企研究院 · 2021年12月21日

全新自研长城超云高性能分布式存储系统如何释放数据价值?

目前,数字经济的发展使经济要素、演化动力、价值创造、组织方式、竞争形态等方面都呈现出前所未有的颠覆性变化,千行百业将借助数据来实现数字化、智能化转型升级,而数据管理则是企业创新求变课题中的应有之义,长城超云分布式存储系统基于第三代英特尔® 至强® 可扩展处理器及第二代英特尔® 傲腾™ 持久内存设计,采用全对称分布式集群架构,通过超云自研的分布式存储智能管理平台,可实现多套分布式存储的统一监控管理。

在”十四五”规划纲要中明确指出要推进网络强国建设,加快建设数字经济、数字社会、数字政府,以数字化转型整体驱动生产方式、生活方式和治理方式变革,培育壮大人工智能、大数据、云计算、网络安全等新兴数字产业。

其中如何更好的实现数据价值最大化,离不开数据的安全存储、可信传输做保障,而随着非结构化数据的快速增长,数据量产出惊人,往往以PB级作为建设规模的单位,客户需要可靠的数据管理与存储方案,对于存储的要求也非常严苛,性能、容量以及稳定性过硬的存储解决方案必不可少。

更重要的是,随着数据量的上涨以及设备升级的需求,成本控制变得尤为重要。

“至简为王”,简单高效的数据管理成为数据服务供应商的核心竞争力,而稳定性强、高可靠是“至稳”数据管理的标签。长城超云基于第三代英特尔® 至强® 可扩展处理器,面向分布式存储应用场景推出的海量数据、高性能、高并发、高可靠的全对称分布式集群存储系统。

长城超云高性能分布式存储系统基于全对称分布式集群架构、第三代英特尔® 至强® 可扩展处理器及英特尔® 傲腾™ 持久内存200设计,可提供单卷EB级别的存储容量、提供数百GB/s级的聚合IO带宽,能够满足分布式存储业务中大量的应用服务器同时访问存储系统带来的性能需求,突破容量与性能的瓶颈。
超云3.jpeg
通过长城超云自研分布式存储智能管理平台,方案可实现多套分布式存储的统一监控管理,支持磁盘故障预测、性能趋势预测、容量趋势预测等功能,并提供开发的API接口。可大幅提升客户侧的易用性并降低运维成本,提升规模化集群运维效率。

同时,方案全局采用高可用设计,无独立的元数据物理服务器或索引服务器,存储系统软件层采用多副本、文件动态切片、纠删码的方式,服务集群规模越大数据的安全性越高。

1、 架构优化设计:采用计算和存储双集群分离的架构,实现分布式存储架构分层池化,独立扩展。计算集群负责封装数据,产生有效存储;存储集群保持存储在线。计算和存储集群采用万兆网络高速网络连接,保障传输效率。该架构能够优化调度流程,合理利用资源,计算存储按需扩展,简化运维管理,降低能耗开销。

超云1.jpeg
2、 高性能设计:

架构设计:采用自主研发的分布式存储文件系统,在大文件并发写入的情况下表现为持续稳定的高吞吐率;拥有灵活的Scale-Out横向容量+性能扩展能力。
超云2.jpeg
存储节点CPU选型:每个存储节点基于2颗全新的第三代英特尔® 至强® 可扩展处理器设计,单节点最多可达80个物理核心。第三代英特尔® 至强® 可扩展处理器集成了工作负载加速功能,包括英特尔® 深度学习加速技术、英特尔® AVX-512 和英特尔® Speed Select 技术。
基于英特尔® 傲腾™ 持久内存的缓存设计:分布式存储系统将第二代英特尔® 傲腾™ 持久内存200系列设置为“内存模式”,极具性价比。单条傲腾持久内存可选128G/256G/512G,最高可达3200MT/s,大幅提升分布式存储缓存性能。
5f0f732135a446d18bc7b1b2e5037b66.jpeg
3、 低时延技术设计:

在分布式存储复制验证的测试上,小数据块随机读取稳定保持在毫秒级延迟;方案能有效提升写入性能,获得有效存力,同时提升随机读响应能力,规避掉算力的风险。经过测试,长城超云的分布式存储方案在性能方面能够满足客户读写的性能需求;同时,方案拥有的数据快速重建能力和可靠性能够确保性能保持平稳;而方案还拥有多集群统一管理能力,灵活扩展能力,满足客户业务需求。

4、 多协议适配:

针对分布式存储应用的特点,利用分布式存储POSIX协议实现存储资源共享,可以充分发挥客户端网络资源,实现客户端极致性能发挥,比通用NAS共享方式性能提高约2-3倍。

1、全对称分布式架构:通过全对称架构设计实现负载均衡和多协议支持,分布式虚拟化存储池可提供单卷EB级别的存储容量。

2、节点级弹性扩展设计:支持多节点在线平滑扩展,加速技术构建高带宽、高IOPS、低时延数据存储通道,具备海量文件高吞吐。

3、全局高可用/可靠设计:存储服务器和元数据服务器采用集群化技术,存储系统软件层采用多副本、纠删数据保护机制,保障数据零丢失、业务零中断。

4、领先的基础硬件配置:物理节点采用超云最新一代的4U双路存储优化服务器R5410 G12,基于第三代英特尔® 至强® 可扩展处理器研发,与上代产品相比,综合性能大幅提升,全线升级PCIe4.0,单机网络性能提高100%,支持英特尔® 傲腾™ 持久内存200系列,最大可支持DDR4 3200Mhz 内存频率,内存8通道读取,极大提升应用程序效能。

26b91551c9c5420099846d450c2fa13d.png
分布式存储节点:超云R5410 G12

目前长城超云高性能分布式存储系统已经应用于医疗大数据、石油勘探测试数据、科学大数据分析、海量图像甄别、海量检索、广电媒资系统等诸多业务场景中,推动各行业智能升级。

推荐阅读
关注数
5020
内容数
334
E企实验室由E企研究院专职产品技术分析师针对数据中心、云计算、AI和5G等领域最新技术和应用研究、验证、试用、分析,数据中心级新产品新技术的市场教育,国内唯一同时研究互联网和传统企业IT基础设施的机构和部门
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息