IT大嘴巴 · 2023年12月28日 · 天津市

“全全闪”时代来临,我们该如何实现“数据常青 ”?

每个时代有每个时代的使命,做人是这样,搞技术也是这样。

如果时光倒退回10年前,当业界还处于那个从集中式向分布式过渡的时代,当业界还为非结构化与结构化数据如何存储而发愁的时候,不少有识之士开始选择Shared Nothing架构,因为在当时看来这种分布式的架构能够较好的解决资源分配不足的问题,每一个CPU都有私有内存区域和私有磁盘空间,这样就解决了资源互相挤兑与浪费。于是,Shared-nothing架构成为了主流,一种名为Hadoop的大数据存储架构也应运而生。

image.png

弹指一挥间,十年过去了,虽然Hadoop已经被种种层出不穷的名字所取代,但说到存储架构,目前业界使用最多的依然是Shared-nothing架构。没错,当我们已经用上更快的处理器与加速器、更高效的网络、更迅捷的存储的时候,我们的Shared-nothing架构依然没有变化。但是在如今另外一批有识之士看来,Shared-nothing架构却也已经落伍了,就像当年的集中式架构一样,也同样需要被淘汰。
这就是存储行业的“十年河东,十年河西”,而如今推动这一变革的众多品牌中,有一个许多人熟悉的名字——星辰天合,XSKY。

开启“全全闪”时代,星海架构的星辰大海

11 月 17日,星辰天合在北京首钢园举办了主题为“星星之火”的XSKY星海全闪架构暨星飞存储发布会,发布了全新的分布式全闪架构“星海(XSEA,eXtreme Shared-Everything Architecture,极速全共享架构)”及星飞(XINFINI)全闪分布式存储的发布。虽然是业界首家提出“全全闪”概念的品牌,但是星辰天合依旧保持了一贯的低调,用“星星之火”代表了大会的主题。但想必所有人都知道后面那句“可以燎原”,这也就看出XSKY想做的,就是对存储市场的全面颠覆。
这一切还要从Shared-nothing架构说起。正如我们前面提到的,Shared-nothing架构是当时分布式转型环境下的产物,或者说也是技术与应用妥协的产物——毕竟从当时的性能来看,无论是计算、存储还是网络都不支持大规模的数据交换,而Shared-nothing架构的相对独立却又无限扩展的特性正好满足了生产力的需求,从而成为了行业的选择。而随着技术的发展,我们似乎有了对Shared-nothing架构二次调整的机会。

“高昂的全闪存系统,不仅价格昂贵,还容易造成数据和性能孤岛,使得高性能数据和算力,和大规模普遍数据不能融合,造成多份数据往复循环的拷贝。那么未来,我们应该如何继续帮助我们的客户保持数据常青?”在当天的发布会上,XSKY星辰天合CEO胥昕提出了这个疑问,在他看来如今大面积的闪存应用已经不可避免,而如果要充分发挥闪存介质的速度优势,就需要从根本架构上对现有存储形态进行调整,为此他提出了“全全闪”的概念,即All Data on All Flash,让数据在闪存空间内自由流动,这也意味着Shared-nothing架构的彻底终结。
不用Shared-nothing架构用什么?随后上台的XSKY星辰天合CTO王豪迈给出了答案——Shared Everything。应该说,Shared Everything并不是什么全新的架构,而是原本用于高端存储的、非常成熟的技术架构。虽然Shared Everything能够实现数据的自由流动,但相应的对性能的要求很高,这也是为什么在10年前业界没有选择这一技术的根本原因——高速存储介质和网络技术的限制。

但是如今,存储设备的性能已经翻天覆地。“以前的编码技术、以前的硬件网络介质、以前的CPU开销能力,无法支持你的Shared Everything,所以大家妥协使用了Shared Nothing”,在会后的采访中,胥昕一语中的。但是如今时代变了,无论是强大的处理器、还是超高速的闪存介质与100G网络,都为Shared Everything提供了足够强大的性能,这样一来我们就可以让数据在不同架构之间自由流动、自在存储,也就是胥昕所说的“天时地利人和”都具备了。
当然星海架构不只有Shared Everything,甚至Shared Everything只是为星海架构提供了基础中的基础。而在此之上,XSKY还提供了包括单层闪存介质、端到端 NVMe等多种技术,以保证数据在安全、稳定、高效的环境下进行传输和存储,实现了100微秒的超低延迟、100%的存储系统得盘率和100毫秒内快速切换等特性,真正让分布式存储的发展迈上了一个新的台阶。
在胥昕看来,单层闪存介质(single tier)相比Shared Everything来说更具创意,毕竟后者已经是行业非常成熟的技术。但是单层闪存介质的出现借助了TLC NVMe SSD在带宽吞吐方面的巨大飞跃,利用Append Only方式实现数据写入,减少了写放大现象。并通过精心设计的空间布局,在单个 SSD 上实现了缓存和持久存储的双重功能,相比分层缓存方式,可以节约介质成本20%成本以上。“这些技术使得在没有专用缓存介质情况下,确保足够的性能稳定性,同时配合shared-everything架构模型带来的全局EC和压缩功能,集群的得盘率能够超过100%”,在谈到安全性与可靠性的时候,胥昕如是说。
XSKY星辰天合主存储产品总监朱荣泽更是从成本角度解释了全局EC和数据压缩技术的优势。在以往,我们的数据存储通常需要三副本设置,这样同样的数据可能就需要三个机架的存储设备与空间来支持。但是借助于全局EC和数据压缩技术,如今只要一个机架就能够完成,这样一方面帮助客户降低了每TB的成本,另外也节省了机房空间,非常符合当下节能减排、绿色低碳的大趋势要求。
从星海架构到星飞软件,星飞9000主存储亮相
相信看到这里,许多人对星海架构已经有了初步的认知,或许大家已经开始期待具体的产品表现。在这次发布会上,星辰天合也拿出了基于星海架构的星飞软件和星飞9000一体机全闪存储,这也是业界首款采用全共享架构的分布式全闪主存储。

虽然我们谈了太多的存储设备,但作为一家软件定义存储品牌,星飞软件其实才是XSKY的核心产品,它本身就继承了 XSKY SDS 块存储和文件存储的成熟能力,提供统一存储平台,支持融合部署,可以为虚拟化、私有云、OLTP、HPDA、AI/ML 等场景提供支持。
而这次亮相的星飞9000更像是星飞软件的一款具象化硬件一体机产品,提供了一流的全闪存储性能、集中式存储的可靠性和出众的空间效率,确保存储系统的良好体验。用王豪迈的话说:“星飞9000一体机可以极大提高云平台的服务能力,提供更好的性能服务水平,用于承载新型数据库、互联网业务的关键业务和数据分析等工作负载”。

为了证实所言非虚,现场XSKY也邀请到了众多合作伙伴现身说法。首先出场的是英特尔中国区解决方案部技术总监高丰,他分享了星辰天合与英特尔实验室携手进行的、面向OLTP数据库场景的NVMe DAS测试项目。从结果看来,借助英特尔至强可扩展平台的QAT加速数据压缩/解压缩的强大能力,星飞9000在与对比NVMe DAS配置相同延迟的情况下,可以实现更高的空间利用率,并大幅降低运维成本,提升业务连续性。
随后江苏农信信息科技部云计算专家曾光明也登上了舞台。作为实际业务客户,江苏农信也与星辰天合展开了面向OLAP数据库场景的集中式全闪对比测试,测试结果显示部署星飞软件的分布式全闪集群,跟混闪存储相比有着巨大的性能优势,与既有的集中式全闪性能基本持平,这样大幅的的性能提升,让江苏农信对全闪数据中心的实现有了巨大的信心,也证明了银行业同样可以使用全闪解决方案。

当然,星飞全闪产品的优势还不仅仅在这两个领域,比如当下热门的云存储应用中同样有很好的表现。某互联网客户的联合项目测试表明,在公有云高速云盘的对比场景测试中,星飞全闪产品能够实现云上云下一致的数据服务,可提供更高的冗余度和可靠性保证,并且将整体拥有成本降低 50% 以上。
时至今日,基于全新的星海架构以及星飞全闪存储,星辰天合已经构建起了一个完善的生态系统,并与英特尔、新华三、五舟、麒麟软件、ZStack、灵雀云、OceanBase、星环、中科软等众多合作伙伴联合验证,从硬件设备、云平台、操作系统、关键业务组件到核心业务应用的全栈技术已经就绪。
如今,我们正处于智能化、数据化发展的巨大变革中,每时每刻都在产生着庞大的数据,而如何正确处理并利用这些数据也欢呼我们是否能够赶上数字化的浪潮。这一次,星辰天合提出的“全全闪”战略,从本身上解决了传统全闪应用不充分、资源浪费高的问题,同时其提出的海架构以及星飞全闪存储也为用户提供了全新的、高效率的选择。会上,XSKY星辰天合CEO胥昕一直在强调“数据常青”的理念,希望通过丰富的产品与解决方案,让数据永久存储、真正发挥价值,让数字化深入生活的方方面面,推动数字经济的快速发展。

推荐阅读
关注数
1932
内容数
249
专注开放计算、大数据应用、人工智能、企业数字化转型、云计算等领域产业观察及产学研合作。
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息