E企研究院 · 2023年06月27日 · 山西

4+2小时稳态随机写IOPS突破30万!我们给QLC SSD开挂了……

最近Solidigm搞了几件大事。其中一个是在百万亿位圆周率的新世界记录中立下汗马功劳,其中的细节我们在“e企研究院”公众号中有专门的文章点评(算你能存之π百万亿位与QLC再攻主流)。

当时参与的是19块单盘容量30.72TB的Solidigm D5-P5316 SSD。选择它的技术原因很明显,一是容量大,现在达到30TB容量点的盘屈指可数;二是性价比高,毕竟是QLC嘛。

说到这D5-P5316,其实也是位老将,已经发布了两年了。熟悉Solidigm产品的朋友也都知道,随着D7-P5520/5620的上市,144层3D NAND介质曾经进行了一次小的迭代,但这个迭代没有体现在QLC产品线上。另外,D5-P5316的IU(间接单元)是64KB的,这有利于控制成本,而使用更主流的的4KB IU的QLC产品则迟迟没有出现。回顾PCIe 3.0时期,Solidigm/Intel规划了D5-P4320和4326对应不同的IU,以及耐用等级略高的D5-P4420,相比之下,PCIe 4.0时代的144层3D NAND QLC SSD产品线阵容就显得特别单薄。

到今年,Solidigm的QLC SSD也该搞一下“中期改款”了。

这就必须提第二件大事了:Solidigm产自中国大连工厂的192层3D NAND正式上市。而首发第四代QLC介质的,就是D5-P5430。

印象:紫貌全容

Solidigm D5-P5430系列的定位是主流市场,最大容量是30.72TB,这点与P5316相同。也许会有人问了,既然介质堆叠层数都增加了,做更大容量也是可以的吧?确实可以,但这个任务不是D5-P5430来完成,那是P5316的“继任者”的使命。真正的重点是:D5-P5430系列还向下扩展,涵盖了3.84、7.68TB两个主流容量点。
image001.png

这样大的容量跨度是以往的QLC产品所没有的,把D5-P5316、D5-P4420/4326/4320四个系列都凑一块儿都没这么“全”。从容量点角度看,这其实意味着D5-P5430的定位发生了根本性的变化:从QLC已经获得认可的“读密集型”工作负载向“主流”扩展。

从外形角度看,Solidigm D5-P5430系列提供了当前最常用的U.2外形,以及E1.S和E3.S两种相对主流的EDSFF外形。至于“前辈”曾经使用的E1.L外形,主要是面向大容量存储节点的,不在D5-P5430的目标市场内。

目前我们拿到Solidigm D5-P5430的样品的容量是15.36TB,比常见的数据中心级SSD容量大,充分体现了QLC的特色。对于实物外观的第一印象,那就是:前任的痕迹已经消失,终于有Solidigm自己的风格了。正面有醒目的紫色和Solidigm Logo。盘体背面也变成了“平板”一块,没有额外的散热鳍片等,说明壳体的模具也已经更换了。模具对应的内部细节,我们放在后面拆解部分再展开。

四角测试:补短板、进主流

接下来的重点是用实测数据验证Solidigm D5-P5430到底能不能胜任“主流”应用的需求。

我们以宝德PR2715W3服务器为基础构建了D5-P5430的测试平台。具体配置为:

处理器:双路英特尔至强金牌5318Y处理器(2.10GHz/36MB/24C/48T/165W)

内 存:32×32GB REG ECC DDR4@2933MHz

系 统:CentOS Stream release 8(内核5.4.197-1.el8.elrepo.x86_64)

    Windows Server 2019

首先是顺序读写测试。D5-P5430在FIO和IOMeter中的顺序读性能均超过了7400MB/s。这个读性能已经接近PCIe 4.0接口的极限,可以很好满足以大数据、AI为代表的顺序读应用的需求。顺序写入也在3000MB/s以上,对于顺序写或者经过写整形的负载,如CDN、对象存储等,已经足够了。
image003.png

整体来说,P5430顺序读写这个成绩与P5316差不多。后者适合干的,前者也都胜任。

4KB随机性能方面,D5-P5430的进步就相当大了。随机读已经接近百万大关,达到96.4万IOPS,而且表现非常稳定,散点图基本上呈一条直线。百万IOPS是PCIe 4.0 SSD的中上游水平,也与PCIe 3.0接口的产品拉开了差距。对于云负载,高IOPS水平意味着可以承载更多实例和租户。而对于较大容量点的P5430,相对于早期的QLC SSD,它拥有了更高的单位容量性能,可以让云数据中心用较少的盘位、功耗,构建更多的实例,且性能有所保证。
image007.png

随机写方面,D5-P5430超过了14万IOPS,相对于之以往的QLC SSD有了数倍甚至数量级的提升,明显缩小了与主流TLC SSD的差距。

image009.png
14万IOPS的随机写是什么概念呢?以基于PCIe 3.0的DC-P4510为例,其8TB规格的随机写为13.5万IOPS。实际上,D5-P5430的四角测试成绩都超过了DC-P4510。考虑到PCIe 3.0 SSD还处于服役期内的,也是性价比市场的常客,以D5-P5430的表现是完全有实力切走这块饼的。
image011.png

为了更直观地表现D5-P5430的相对性能,我们以D7-P5520 15.36TB的标称性能作为基准(各项分数均为5分),将D5-P5430的实测结果代入,制成雷达图。从图中可以看到D5-P5430已经可以完全覆盖DC-P4510这种早期主控、介质的TLC SSD,相当于中高档TLC SSD的八成表现。

QoS:敢挑大梁

我们e企研究院的老读者都知道,四角测试只是基操,我们更多的测试时间会用在混合读写和QoS上,这才能接近真实负载的体验。考虑到D5-P5430要面向的是“主流”负载,我们也不客气,直接七读三写伺候,而非QLC常用的九读一写的比例。

在队列深度仅为1的情况下,D5-P5430的平均读时延为103微秒,P99.99读时延仅523微秒。

队列深度增加到8,平均时延为124微秒,P99.99也仅为693微秒。

将队列逐步增加到32,P99.99也还未超过1毫秒。

在多数云或企业工作负载中,队列深度很少会超过32。我们的测试表明,32甚至64的队列深度也不会导致D5-P5430的QoS明显恶化。
image013.png

随着负载继续增加,D5-P5430的总体IOPS也会持续增加,输出在QD128、256时趋于平缓,此时的尾时延开始明显增加,这是意料中的事情。但是,值得强调的是:与一些强调性价比的TLC SSD相比,D5-P5430在深队列的表现居然相对更好(尾时延增加的幅度更小,也就是上图中的最后两排相对没有那么高)。这其中有主控强大(参见后面的拆解)的功劳,同时也肯定了Solidigm浮栅技术QLC NAND介质的一些技术特点。

简而言之,对于典型的混合负载,我们认为D5-P5430的QoS完全可以胜任,甚至,它可以比一些我们曾经测试过的TLC SSD(包括PCIe 3.0和4.0)做得更好。

功耗:不涨反降

前面有提到,D5-P5430的外壳表面没有散热鳍片,难道它的发热量会比以前的产品(D5-P5316)要低吗?从官网提供的参数看,还真是如此。

性能涨,功耗降,这种好事,不可轻信啊!这就得用分析仪一探究竟了。上海森弗信息技术有限公司(Saniffer)的Quarch功耗分析模块(Power Analysis Module,PAM)是业内普遍使用的设备,支持对PCIe 4.0/5.0接口的NVMe SSD进行测试,可以长时间、高精度地记录电压,电流,功耗等状态信息。我们将利用它进行验证D5-P5430的功耗。
image016.gif

在默认模式下,D5-P5430的顺序读的平均功耗仅13.26W,顺序写平均功耗为20.70W,随机读写的平均功耗分别为14.48和18.47W。比宣传指标还略低一些。
image018.png

我们也知道,Solidigm会提供三种电源模式,我们首先测试的是默认的PM0。随后我们也验证了PM1和PM2,功耗被会被分别限制在13W和9W以下,对应的性能表现也会有所下降。

拆解:新一代介质的庐山真面目

相信大家都迫不及待要看看新一代192层3D NAND颗粒的庐山真面目了。

Solidigm D5-P5430盘内只有一块PCB,主控与Solidigm D7-P5520/5620相同。这就是前面QoS测试中提到的,强大的主控带来的一些性能价值。D5-P5430是用QLC来控制介质成本,但主控没有降档次。

image020.jpg
image022.jpg

两面各8颗NAND颗粒和5颗DDR4-3200 DRAM。这块盘的DRAM总容量为20GB,足够保证1TB容量对1GB缓存的比例。对比PCB和金属外壳,可以看到标签那面的壳体对应NAND和DRAM芯片的位置都有凸起,配合导热垫片将PCB背面芯片的热量传递到外壳。

NAND颗粒上终于使用了Solidigm的标志。从NAND芯片编号可以看出,其中8颗是ODP(每芯片封装8颗die),8颗是QDP(每芯片封装4颗die),扩容还是有大余量的。
image024.jpg

彩蛋:容量换性能

老读者记得我们在测试Solidigm D7-P5520时说它是“有上进心”的SSD吗?

其中的秘密在于SST(Solidigm Storage Tool)可以调整SSD的保留空间。增加保留空间后,SSD的耐久性相应增加,随机写入性能也会增加。

我们对D5-P5430也是“故技重施”,拿容量换性能,先验证额外划分10%保留空间的表现。调整后,系统下识别的有效容量从默认模式的14TB变为12.6TB。
image026.jpg

调整后,随机写入性能大幅提升,未预写时的IOPS可以超过60万IOPS。重新进行4个小时预写后,对样品进行持续10分钟的随机写入,IOPS可以达到32万——这是主流PCIe 4.0 TLC SSD的水平。这种“越级”的情况,之前在D7-P5520与P5620当中已经领教过了。

image028.jpg
甚至,我们将保留空间增加到25%,此时的容量相当于“TLC”。这种情况下,性能进一步提升,10分钟的随机写入IOPS为36.3万,即使将随机写入测试时间拉长到2小时,也可以达到35.6万。相较25%的容量代价,设置10%的保留空间的效费比就足够好了。
image030.png

这个“彩蛋”可以说明什么呢?这意味着,如果用户确定自己的应用不会出现连续长时间的满负荷写的情况,那么,可以考虑牺牲一些有效容量,增加一些保留空间,就能让D5-P5430的随机写短板翻倍(IOPS从14万提升至30万以上),从而达到主流PCIe 4.0 TLC SSD的性能表现。

同样的NAND介质,如果从QLC模式调整为TLC模式,会“永久”损失25%的容量,而通过SST,我们付出10%的“可选”容量代价就可以解决。永久付出25%的容量代价,或者0~10%可选,你选哪种方案?

那么,如何去理解这个“度”呢?我们不妨把10%的保留空间(的空白块)看做写缓存——由于D5-P5430的容量够大,这个“缓存”将达到1.5TB量级,可谓相当巨大,足够应付非极端的状况。

简而言之,善用SST,把保留空间作为填补QLC和TLC之间落差的一个方案,是进一步扩大QLC SSD适用范围的一个有价值的思路。以下是前段时间我们引用过的一张QLC SSD适用范围的图,我相信多数人对图片左侧,尤其是左上角区域没有任何异议。但对中间部分,多数人是将信将疑,甚至有人压根儿不信,这完全可以理解。但经过附加的测试,我认为QLC SSD的实力确实值得大家重新评估。

image032.jpg
结语

一句话总结Solidigm D5-P5430的性能表现:一流的读,主流的写。

如果用于读为主的负载,它的表现大致是相当于D7系列的九成功力。而写性能,则达到甚至超过入门TLC SSD的水准。所以,QLC什么时候能替代硬盘不好说,但替代入门TLC,看上去有谱。实际上,考虑到SST和保留空间的操作,D5-P5430甚至可以威胁到D7-P5520这样的主流TLC SSD。

对于SSD寿命,相信数据中心领域的用户没有消费市场那么深的执念,毕竟用了这么多SSD,退役时耐久度还很充裕。至于“性能过剩”,也是老生常谈的话题了。但是,换个角度想一想,如果我们觉得SSD性能“过剩”,是不是我们部署的盘容量不够大、平摊的租户不够多?

在这里,我们无意讨论QLC与TLC孰优孰劣的问题,而是鼓励大家增加更多的观察角度。这一次Solidigm提出“必要耐用性”、“足够耐用性”的概念,也是在试图探索成本、性能、寿命的更优解。

推荐阅读
关注数
5068
文章数
445
对数据中心、云计算、5G、AIoT 等科技领域的最新技术和应用的信息交流、新产品新技术的引导、技术创新与品牌打造,降低用户对新技术的接受成本
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息