E企研究院 · 2021年12月27日

从芯片设计场景,看专业存储的优势叠加效应

对于芯片产业链而言,2021是“芯事重重”的一年,产业厂商们摸着石头过河,在“缺芯”的压力下,市场的火热与技术人的沉稳内敛,形成了鲜明的对比。

我们都知道,芯片的设计和仿真系统离不开EDA,相比于光刻机,EDA的名声不显,但它同样重要,有人将其称为“芯片之母”。和光刻机类似的是,在整个芯片产业链中,EDA的规模不大,却支撑着芯片产业链的关键一环。

EDA的过程是芯片设计厂商进行研发的过程,包括芯片需求、架构、设计、代码开发、编译、仿真端到端的研发。EDA的研发效率决定了芯片设计的质量和速度,是整个芯片研发、制造的最核心环节。

在高端制造的芯片领域,芯片的设计仿真过程对底层数据的存储设备要求非常高,一款芯片的设计数据可能是数十亿的文件,每个只有几KB,对于芯片设计公司来说,数据处理也是一项重要能力。

1

为什么高端制造必须使用专业存储?

现今一个芯片上动辄有数十亿个晶体管,需要数百甚至上千个工程师分成数十个小组进行协同研发,给芯片设计带来了艰巨的挑战。

WechatIMG48.png
首先是数十个项目组及成百上千个工程师如何有效协同,其次是数十亿级的小到几KB的代码文件如何支撑每秒数百万次的访问和读取,最后,一个芯片的设计文档和代码是专家们长达数月的心血和智慧,如何确保不丢失,这三大核心问题考验着存储厂商的功力。

在前端设计环节,工程师需要将源文件编译为芯片模型完成芯片设计,之后将芯片设计任务分而治之进行验证,在整个设计过程中,工程师需要多次迭代并改进设计,也就会产生大量的仿真工作,如果这个时间段存储系统出问题,几十个小时的仿真工作就付诸东流,而大量小文件的随机访问,对数据访问性能是极大的负荷。

可以看出,EDA设计场景最关键的特征是:文件数量多(动辄数十亿的文件),单个文件数据量不大(每个只有几KB),这对后台的存储系统来说是一个难题,毕竟传统的分布式文件系统解决的主要是大文件的读取;而小文件的压力就在于文件索引大,查找和遍历难,要进行有效定位多次读写是很困难的。

最好的办法就是通过专业存储实现海量小文件的高效率存取,同时性能最好可以达到大量并发访问下的低时延响应;在可靠性上做到多部件、甚至整系统,同时故障时业务无影响;当然在安全方面还必须实现数据不被窃取、泄露。

这的确是一个大挑战。

2

专业存储的关键技术和能力特质是什么?

诸多公司通过华为OceanStor Dorado全闪存存储来解决这些问题,采用多控制全互联的硬件架构,FlashLink智能盘控配合算法和分布式文件系统存储和管理高价值数据。

据华为数据存储与机器视觉产品线首席科学家张国彬介绍,面对项目组协同工作的难题,华为OceanStor Dorado提供2个关键能力:

首先是配额特性,华为OceanStor Dorado可针对EDA场景为每个项目组设定其使用的存储容量、或者文件数上限,避免A项目组因为B项目组存储容量过度占用而无法开展正常的设计工作。

另一个关键特性是QoS,将每个项目组视为存储系统的一个租户,为各组分配一定的SSD、CPU、内存、网络资源,从而约束每个租户的上限性能,避免租户之间相互干扰。QoS和上面所讲的配额协同工作,保证了众多芯片项目组的高效协同工作。

最关键的是,满足这些需求的同时在性能层面,面对海量小文件的快速查找和访问难题,华为OceanStor Dorado全闪存的NAS功能通过三项关键技术,实现了比业界高30%的性能,领先同侪。

第一个关键技术是全局分布式文件系统:OceanStor Dorado将这些海量的小文件以目录为单位,均衡地分布到所有的控制器上进行处理,从而最大程度上实现了海量小文件的并发访问,解决了小文件百万次的读取和有效定位的问题。
第二个关键技术是智能布局:华为OceanStor Dorado 采用2种索引技术来管理海量小文件,元数据顺序表的布局,可以提高文件遍历的速度;使用Hash表布局,提高文件定位的速度,将海量小文件的访问时延降低到0.5ms,也就是万分之5秒。
第三个关键技术是FlashLink智能盘控配合算法:OceanStor Dorado采用FlashLink技术重构存储3000万行软件代码,并实现软件和SSD芯片的协同,从而最大程度发挥SSD的性能,达到上千万OPS(每秒文件操作数)的指标。
WechatIMG193.png
安全可靠是华为成立30余年的标签,在存储领域也不例外。目前来看华为OceanStor Dorado采用业界唯一的全互联高端存储架构,硬件全互联,实现所有部件都能互联互通,容忍8个控制器中的7个故障依然业务不中断。同时,采用业界最可靠的RAID-TP技术,能够容忍同一个硬盘框内3块盘同时故障而数据不丢失。

4.jpeg
更重要的是,除了单数据中心的存储系统可靠设计外,华为还在业界首次为客户提供跨数据中心的Active-Active NAS双活容灾解决方案,从而实现7个9(99.99999%)的可靠性,我们可以这样来计算:相当于一年内最多中断3秒,并且通过将跨数据中心级可靠性扩展为2地3中心的容灾,可靠性几乎达到了极致。

3

数据石油在哪儿,专业存储就在哪儿

据国际咨询机构IDC发布的《数字化世界—从边缘到核心》白皮书数据,到2025年,全球数据圈将增至175ZB,届时,中国将成为全球最大的数据圈,其中以芯片为代表的工业制造领域,其数据就绪度水平高居榜首。

事实上,不仅在芯片设计领域,在数据大爆炸时代,专业存储成为刚需,华为企业存储瞄准核心生产数据场景,可以说是政府、企业运行的根基,涵盖了金融、医疗、交通、运营商、制造等千行百业。例如银行的借记卡、信用卡、以及各种交易数据;再比如医院的挂号、就诊、取药等病历数据。

“举个例子,全国的火车票数据就存储在企业存储上,这个数据还是实时动态变化的,最高峰时一天的访问量接近达1500亿次。如果存储的性能不够高、稳定性不够强,大家随时随地线上购票就是无法想象的事;同样,现在大企业已经实现了数字化,数据贯穿公司各个生产和管理流程,一旦ERP存储出现问题、数据中断,导致订单无法执行,将造成数以亿计的经济损失。”在刚刚结束的2021创新数据基础设施论坛上,华为企业存储领域总裁黄涛这样表示。

在他看来,在不确定性、复杂性、多元性激增的时代,需要以应需而变的海纳能力,才能去融合和识别难以被洞察的数据需求,释放数据智慧,助力客户从容应对数字时代的多重挑战。

结束语

如同华为数据存储与机器视觉产品线总裁周跃峰所说,到2030年,全球每年新增数据量将突破1YB量级。有数据的地方要用存储,有存储的地方,一定要用专业存储。企业数字化转型、云、大数据正在深刻改变着全球数据产业,华为将和全球的客户、生态合作伙伴、科研工作者一起持续创新,打造世界领先的数据存储产品和解决方案。帮助企业以最快的速度存储和使用数据。

推荐阅读
关注数
5020
内容数
334
E企实验室由E企研究院专职产品技术分析师针对数据中心、云计算、AI和5G等领域最新技术和应用研究、验证、试用、分析,数据中心级新产品新技术的市场教育,国内唯一同时研究互联网和传统企业IT基础设施的机构和部门
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息