焱融科技 · 2021年08月31日

你不知道的SSD那些事

封面.jpeg

从2005年三星作为第一个进入SSD市场的巨头,到现在短短15年,SSD已经成为非常普遍的存储介质了,相对于机械硬盘HDD,SSD在IOPS上提升了数百倍,带宽提升了数倍,如今NVMe硬盘又进一步将普通SATA SSD的性能提升了近十倍。不管是普通的SATA SSD,还是NVMe SSD,对于大多数人说,只是介质和性能上的变化,普通人甚至IT工程师会简单地认为,只要使用了SSD,存储系统访问数据的性能也会随之获得数百倍性能的提升,事实真的是这样吗?这个问题,其实很像是这样的,只要装上法拉利的发动机,车就一定快了吗?我想只有法拉利的工程师知道车身任何一度的变化,会增加多少风阻,影响百分之几秒的速度。

本文用尽可能简单的描述,为你讲清楚你想知道而不知道的SSD那些事。

你应该知道的SSD背景知识

SSD 颗粒(Cell),页(Page)和块(Block)。SSD中有两个重要的部件,一个是颗粒(Cell),另一个是控制器,关于控制器我们一会儿再说,先说说存储单元。当今的主流SSD使用的是NAND颗粒(当然有更新的SSD使用了3D NAND)来存储数据,每个颗粒可以存储1bit(SLC),2bit(MLC),3bit(TLC)甚至4bit(QLC)数据。颗粒存储的bit数越多,其密度越高,制造成本越低,但是颗粒的耐久性(或者叫寿命,擦写次数)越低。而SSD读取或写入的最小单元并不是颗粒,而是由一组颗粒组成的页(Page) ,典型的Page大小是4KB。SSD有一个重要特性,是颗粒一旦被写入,就不能覆盖写了,这点和基于磁介质的机械盘不同。为了能重复写,SSD需要对已经写入过的颗粒进行擦除操作(erase) ,而擦除的最小单元,既不是颗粒,也不是页,而是由若干个页组成的块(Block) 。SSD块的典型大小是512KB或1MB,即128 Page或256 Page。SSD的其它行为以及存储系统针对SSD的优化手段,都跟这几个基本的特性有密切关系。

数据操作和垃圾回收(GC) 。数据操作包括读和写,其中读延时相对稳定,写延时会发生一些变化,取决于磁盘的使用状况,正常情况下,都是几十微秒。与机械硬盘相比,SSD多了一个擦除的操作,擦除以block为单位,这点前面已经谈到了。SSD中的垃圾回收(Garbage Collection)用于回收那些已经使用过,但数据已经不再有效的那些block。SSD控制器中会设置一个可用block数量的门限,当可用block低于这个门限时,就会启动垃圾回收。

损耗均衡(Wear Leveling)和写放大(Write Amplification) 。SSD block可执行有限次数的擦除操作,也称之为编程/擦写(P/E)周期,当写入非常频繁时,擦除操作发生得更频繁。一旦达到P/E最大数量,这个block就不再能写入了。对于SLC,可擦除次数通常是10万次,MLC通常是1万多次,而对于TLC块,则是几千。为了确保容量可用和写延时性能,SSD控制器需要平衡各个block的擦除次数,这是SSD控制器的核心工作之一,也称为“损耗均衡”机制。在损耗均衡期间,数据会在各个block之间移动,然后进行擦除。由于擦除的是不再有效的数据,而移动的是有效数据,因此SSD中有效数据通常会大于实际实际写入的数据,这称之为写放大WA(Write Amplification)。

SSD控制器,说了那么多,大家应该能感受到,SSD绝对不是大家想象的找个颗粒把数据写下来,需要读的时候再取出去那么简单。读写寻址、page在SSD内部的移动、block擦除、写放大的控制、损耗如何均衡,这些都是SSD控制器完成的。尤其是大家可能会困惑,数据从原来的page移动到新的地方,旧的page可能就被擦除了,上层程序怎么找得到新的地址?这就是控制器的处理逻辑,而且这里面很多逻辑甚至固化到电路里了,例如物理地址到虚拟地址的转换(上层应用就是通过虚拟地址寻址的,所以底层地址的变化完全不影响上层应用),都是电路级别的操作,延时都是微秒甚至纳秒级别。

针对SSD的存储系统优化

面向SSD这种介质与HDD存在的典型差异,存储系统也要针对SSD有针对性的优化,这些优化的效果体现在很多方面,包括性能的提升、SSD使用效率的提升、SSD寿命的延长等不同方面。以下我们列举几个常见的针对SSD存储系统的优化手段。

尽可能利用本地的SSD性能

在HDD时代,HDD的延时在毫秒级别,几乎可以抹杀掉网络延时带来的影响,所以只要保证网络协议、网络交互的优化,应用程序大可以访问远端的HDD。但是SSD的延时已经到了微秒级别,除非使用极低延时的高性能网络,否则访问远端的SSD数据的延时会明显收到影响。对于分布式存储而言,必须一方面在数据分散放置的同时,尽可能地利用本地SSD的能力,即在数据放置策略上做权衡。

在这方面,我们结合元数据放置算法和策略,对YRCloudFile分布式文件系统的元数据采用了一部分的本地化SSD访问。同时,还将推出智能缓存技术,将大量热数据缓存在指定的SSD本地设备中,进一步降低访问延时。

控制SSD容量使用量

SSD容量的使用量(即磁盘到底写多满)会影响写放大系数和GC导致的写入性能损耗。

在GC期间,需要擦除block以创建空闲block。擦除block需要保留在block内保存着有效数据的page,才能获得空闲block。创建一个空闲block可能需要压缩和挪动多个block内的page,具体数量取决于block的“满”程度。

假设SSD容量已使用A%,根据经验,为了擦除一个block,需要挪动和压缩1/1-A个block。显然,SSD的使用率越高,将需要移动更多的block以释放一个block,这将占用更多资源并导致更长的IO等待时间。例如,如果A = 50%,则仅压缩2个block以释放一个block。如果A = 80%,则大约移动5个block数据以释放一个block。如果考虑上block的page,需要操作的数据则更加惊人,假设每个块都有P个page,并且所有page都包含有效数据,则每次Garbaged Collected都需要复制PA/1-A个page。如果每个block包含128个page,当A=50%时,每个blcok都需要复制128个page,而当A = 80%时,则为512个page,当A = 95%时,则达到2432 page。如下图所示:

SD磁盘使用容量和GC移动page数量的关系

控制SSD使用容量,对于GC效率、磁盘寿命、上层应用写延时都有实际意义。

使用多线程进行小IO访问

SSD具有多个级别的内部并行处理机制,包括:channel, package, chip和plane。单个IO线程是无法充分利用所有这些并行特性的,只使用单个线程进行小IO访问,会导致整体访问延时更长。使用多个线程并发访问,则可以利用SSD内部的这些并发特性。SSD上对本机命令队列(Native Command Queuing)的支持可以有效地在多个channel之间分配读写操作,从而提高内部IO并发性。因此,上层应用或存储系统尽可能并发访问小IO,是非常有益于读写性能提升的。如果针对单个应用很难进行多线程并发,则可以考虑多个应用对数据进行并发访问,从而充分使用SSD的并发特性。

例如,我们使用一个应用程序执行10KB写IO,结果下图所示。使用一个IO线程,它可以达到115MB / s。两个线程基本上使吞吐量加倍;和4个线程再次加倍。使用8个线程可达到约500MB / s。

那么问题来了,“小”IO有多小。通常认为,充分利用SSD内部并行性的IO上限,会视为“小”的分界。例如,SSD的page大小为4KB,SSD可支持的并行度为16,则阈值为64KB。

总结

SSD已经被存储系统大量使用,通常,采用SSD的存储系统会比使用HDD的存储系统具有更好的性能,但是,在不经过针对性优化时,单纯地将SSD视为一个普通的存储设备使用,不能充分发挥出SSD,尤其是NVMe的极致性能。这是因为SSD的工作原理与普通的HDD有较大的差异,访问特性上也不同。为了充分利用SSD带来的性能优势,现代的存储系统,尤其是分布式存储系统都需要对SSD做针对性的优化。

通过这篇小文,希望让大家对SSD的工作原理,以及基本的优化手段有所了解,我们也会在以后的文章中,分享更多针对SSD编程,提升性能的手段和实践。

推荐阅读
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息