科技正能量 · 2021年01月28日

数据驱动万物时代的存储分层之道

过去在行业里有一种“存储危机论”的说法,这种观点认为,存储在大规模数据中心中的地位在降低。相比于计算的重要性,存储许处于一个相对的低谷。

而事实上,存储是承载企业数据驱动价值最重要的载体。因为数据不再只是物理世界的“记录者”,而成为了新的生产资料,并逐渐发展出价值闭环:数据驱动让企业能够利用海量、多维度的数据创造直接的业务增长,同时可以优化业务,提升运营效率,是企业走向数字化转型发展的重要手段。

西部数据公司高级副总裁兼中国及亚太区总经理Steven Craig说:“2020年,突如其来的新冠疫情加速了各行各业的数字化转型,使我们共同步入了‘数据驱动万物’的新时代。随着数据的爆炸式增长以及存储需求发生巨变,云端存储也面临着前所未有的压力。”

1.jpg

西部数据公司高级副总裁兼中国及亚太区总经理 Steven Craig

的确,数字化转型的催生了大量新应用。数据显示,在2019年中国数字化转型IT支出首次超过非数字化转型IT支出,占比达到51%,而2020年的新冠疫情则进一步加速了企业对数字化的投入。随着数字化转型的不断加速,行业新应用爆发式增长,从数千、数万跃升到百万量级,数据呈现出海量、多元、实时、多云等趋势,与之相应的,企业级存储成为承载产业转型的基本“元素”。

云时代的存储之变

今天的企业数字化转型与云时代的到来以及云数据中心的发展之间存在密切的联系。

目前的企业上云正呈现混合、多云及边缘化的发展局面,而这将是企业级存储发展的主要驱动力:

第一,随着智能 IoT 设备使用频率的增加,将有90%的数据会由机器产生,而产生的数据量将在2023 年超过102个ZB。企业要开始从IoT 等新来源收集传统数据流和新数据流,并要存储、管理、保护所有类型(结构化和非结构化)的数据,并从中发掘商业价值。

第二,混合多云环境下,所有的云之间都是相互连接并协同工作的,以避免数据孤岛。数据和应用负载在本地数据中心和云之间、在云和云之间来回迁移,这也为存储在不同数据中心,乃至数据中心不同位置的部署提出了新的要求。

这些驱动力对企业级存储的需求推动是非常显著的,同时也带来了企业级SSD和企业级HDD两个市场的同步增长。

西部数据公司副总裁兼中国区业务总经理刘钢表示,“过去有一个误区认为,企业级存储大部分增长是来自于企业级SSD,企业级HDD并没有快速增长。而实际上,数据中心用户既有对容量的需求,也有对性能的需求,因此企业级SSD和HDD需求规模均在快速增长。”

2.jpg

西部数据公司副总裁兼中国区业务总经理刘钢

Gartner的数据也显示:企业级SSD的增长曲线,年复合平均增长率达47%,而企业级HDD的增长曲线,年复合平均增长率达39%。
3.jpg

而从企业级SSD和HDD,我们也可以清晰看到数据中心存储的两大发展趋势:

驱动企业级HDD得以快速增长的原因是数据中心对大容量存储的需求。据调查所得的数据显示:在去年企业级HDD的主流容量点已经从14T增长到16T,而2021年的主流容量点已经从16T开始往18T移动,18T的大容量企业级HDD将会在2021年成为主流需求。

而企业级SSD的增量背后则有两个趋势:一方面,NVMe接口的企业级SSD成为主流,市场占比越来越大;另一方面,则是Gen4开始出现,尽管2021年的占比当中70%会是Gen3,但同时Gen4也开始部署,到2022年Gen4将会成为主流。

分层存储策略的实用之路

刘钢认为,当下的数据中心存储正面临四大挑战:首先是数据增长迅速,从更多的数据来源,产生了更多的容量需求;其次是存储性能需求倍增,更低延时,更高IO和更多带宽成为了一种常态;第三,追求极致的TCO,比如更低每TB成本,和更低的管理维护成本;最后是绿色能耗体系的要求,更节能和环保。

很明显,没有哪种存储介质,可以完全满足这四个需求。所以西部数据为了数据存储的优化,先后提出了分层存储、分区存储、分解式架构的三“分”概念,来最大化地提高硬盘应用价值,降低总体拥有成本(TCO)。分层存储,即对不同特征和应用场景的数据进行划分和分层存储,以达成优化目的;分区存储是对容量越来越大的固态盘进行分区,保证固态盘在被多重访问时性能不受影响,并降低成本;而分解式架构则是通过资源池化和改变架构,让更多的服务器可以共享高性能的固态盘等资源。

尤其值得一提的是,针对分层存储,西部数据在2020年提出了五层结构的分层存储策略,建议以极热存储、热存储、温存储、冷存储及极冷存储的方式对数据进行划分,对不同特性的数据进行相对应的分层存储,从而满足数据存储在容量、性能、成本及能耗等方面的多样化需求。

怎么理解不同数据处理需求与不同存储设备之间的逻辑关系?

4.jpg

极热存储和热存储都具有数据频繁读写,具有持续低延时,高IOPS,高带宽的应用需求,主要面向OLTP, DSP , 自动驾驶等典型应用。极热存储适用于DRAM,而热存储则适用于高性能SSD。

5.jpg

温存储,则代表了读取较频繁,有较高性能IOPS和带宽要求。主要面向面向传统企业应用,典型应用可见于OLAP,AI训练,和一些行业用户的企业级应用。主要以主流SSD或HDD为主。

冷存储主是指少量写入,多次读取,数据与温数据有相关性。通常是面向存储备份,在线交易用户,画像分析等应用,对应的设备建议是大容量企业级HDD;而极冷存储则用于大块写入,写入次数较少,需要持久的数据保存,通常是面向归档等存储需求。典型应用多见于金融,医疗,广电行业数据长期归档。可以用SMR HDD来满足需求。

6.jpg

而西部数据是业界少有的,可以提供所有存储层产品和解决方案的公司,这也是西部数据专注于存储的优势所在。

当然对于不同的企业来说,数字化的程度不同,数据的规模不同,数据的复杂性也不尽相同。除了大型的云服务商,一般的企业其实并不会用到全部的五层存储,但这种分层存储的思维方式,应该形成标准,以应对未来更为复杂的数字化转型。

刘钢说,“西部数据不只是提供一个存储架构,或是根据存储架构提供相应的设备,我们也会跟很多软件解决方案的合作伙伴,针对不同的行业,来提供相应优化的分层存储的行业解决方案,来满足不同数据层对存储的需求。”

作为分层存储策略的践行者,云服务商UCloud发现,各类数据的访问量随着时间推移都会产生由热至温,由温至冷的转变。对此,UCloud系统工程师周庆说,“正是基于数据这种由热到冷的变化特征,我们倡导对数据进行分层存储,从而有效降低数据存储和管理成本。”

杉岩数据致力于打造海量对象存储MOS、统一存储平台USP和超融合一体机HyperCube三大产品矩阵,杉岩数据CEO陈坚更表示,本次与西部数据共同推出了全闪存云存储解决方案。杉岩数据更与西部数据合作推出了IPFS EB级存储解决方案,以及针对高密存储需求而言的4U36节点的JBOD存储解决方案,构建全闪存储资源池满足业务发展需求。

引领企业级存储的技术浪潮

当然,作为一家专注于存储市场的企业,要更好地服务于企业数字化转型,引领企业级存储发展的浪潮,西部数据自身必须在每个层级都有核心技术支撑的好产品。

例如在极冷存储层级,西部数据有20T的大容量硬盘Ultrastar DC HC650 SMR HDD。同时有16T、18T的大容量盘西部数据Ultrastar DC HC550 CMR HDD,可以来满足冷存储的需求。这两个部分可以很好地满足用户对数据中心大容量的需求。

刘钢说,容量的提升,对用户而言可以大幅降低了TCO。以14T升级到18T为例,数据中心的容量密度可以提高29%,每TB功耗降低21%,部署成本降低11%,总体拥有成本降低17%。相信未来这种提高密度,降低功耗,降低总拥有成本的解决方案会被更多的客户所接受。

再比如在热存储层级,西部数据有Ultrastar DC SN840 NVMe SSD,而西部数据Ultrastar DC SN640 NVMe SSD则可以作为主流的温存储的产品。如今西部数据丰富的产品线已经覆盖了从NAND、硬盘以及NVMe平台和系统在内的一系列品类,提供数据平台、连接平台、技术产品等丰富的产品组合。

9.jpg

刘钢也表示,西部数据除了在企业级硬盘和固态盘方面,拥有技术方面的领导优势,同时在规模上也有明显的优势。如西部数据对于NAND的投入巨大,西部数据和铠侠合资的厂产能占全球的1/3。

10.jpg

总体而言,西部数据作为一家完整的存储技术、产品和方案的提供商,可以提供从芯片到系统的完整解决方案,可以满足不同层级应用对存储设备的需求,并以此进一步推动“数据驱动万物”的企业数字化转型。

推荐阅读
关注数
2834
内容数
255
新基建、云计算、数字经济、数字化转型
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息