9 月 19 日,安谋科技正式推出本土自研的首款「玲珑」D8/D6/D2 显示处理器,以及新一代的「玲珑」V510/V710 视频处理器。
「玲珑」D8/D6/D2 DPU 凭借其灵活扩展、高效低延时、低系统宽带及高数据安全等优势,能够为汽车座舱、手机、PC、平板电脑、电视、可穿戴设备等智能终端提供超高画质显示体验。
对比前代产品 Arm Mali™-D71/D51/D37 DPU,全新「玲珑」D8/D6/D2 DPU 实现了核心性能的两倍提升。具体而言,其单核性能从原先最高支持的每秒 4K120 帧提高至每秒 8K60 帧,而且同时支持的实时显示输出从 2 路扩展至 4 路,充分满足了智能应用场景的多元化显示需求。
而「玲珑」V510/V710 VPU 作为国内首批同时支持 H.266 标准的编码及解码视频处理器,采用了多核多格式编解码融合的可编程处理架构,单核的编码或解码性能可达到每秒 4K 60 帧,根据端、边、云等不同场景需求,分别提供 1-4 核、4-8 核等多种配置。在大幅节省存储空间及带宽成本的同时,「玲珑」V510/V710 VPU 还能轻松按需配置,确保系统性能、功耗和面积的最佳平衡。
在发布会的媒体问答环节,安谋科技的多媒体处理器研发负责人周华、VPU 高级产品经理董峰、DPU 高级产品经理柴卫华则围绕新品、行业做了更深入的讲解。
△ 左:柴卫华,中:周华,右:董峰
媒体:VPU 里面有一个创新的融合编解码的功能模块,可以减少 IP 的供应面积,可不可以展开讲解一下两个层面,一个是创新融合具体是怎样实现的?第二是融合性会带来多大的提升,有没有量化的数据?
董峰:如果不是编解码融合的架构,在编码和解码分离的情况下,在 VPU 场景下首先需要一个编码,然后需要一个解码,这样包括流水线在内的方方面面,在这两个层面都需要增加内存。因此我们的融合架构就以这个为需求点进行切入,在内部能复用的 pipeline 我们一定会复用。具体做法就是在技术层面分解到加速器以及数据流的层级。辅助方面我们是 MCU 控制的方式,而不是纯硬件的方式,因为两个模式下数据流的控制的差异还是很大的,纯硬件控制很难实现。另一个创新点是在整个数据处理中我们会将任务做条带级的划分,在架构层面上做了很多的细致的分解和考量,从而实现多核并行和性能的线性提升。面积收益也是非常明显的。
在实际应用中,根据不同的场景我们还有不同的配置。比如说有些场景明确只需要解码,我们在配置层面上就会提供一个仅解码的配置。又比如现在逐渐有一些客户希望更做成接近于编码工业的配置,我们也可以裁剪出仅输入的配置。所以架构层面的灵活度给了我们空间来更快速地响应客户需求。
其实这种架构是比较难做的,门槛比较高。在某种层面上可以说 VPU 很像一个 SoC,它主要针对业务场景数据流的管理,以这样的思路为切入点来做系统级的架构设计,这也是安谋科技比较擅长的,我们在 IP 层面有很强的系统化能力。
周华:很感谢媒体老师敏锐地捕捉到这一点,这点确实是我们跟友商的一个差别,因为我们的 encoder 就包含了 decoder,而 decoder 又是 encoder 的一部分。
媒体:这是安谋科技在中国市场发布自研的新一代「玲珑」产品,为什么今天才时机成熟?
周华:我应该是国内第一批做 VPU 的工程师,也有十二三年了。我是 2018 年加入安谋科技的,在这里做了 6 年。我们之所以选择这个时间点来发布新产品,是因为我们做出了安谋科技本土自研的首款 DPU 产品,而且新一代 VPU 我们也新增了 H.266 的 encoder,可能很多架构有 H.266 的 decoder,但新一代 VPU 是国内首批支持 H.266 的 encoder,所以我觉得有必要跟大家分享一下,这很可能会成为我们的抓手,明年在客户产品布局上会发挥更大的作用。
董峰:关于这个时间点,我们觉得首先 H.266 在技术上的提升是非常大的,目前产业方方面面都开始围绕着 H.266 展开布局。安谋科技一直比较低调地做事,可以说成立玲珑团队这几年我们一直在努力完善多媒体产品布局,现在终于形成了完整的多媒体产品组合,这次可以出来汇报一下这些年的成果,在 VPU 产品的层面上,我们认为新一代产品对 H.266 的支持,应该算是比较好的里程碑了。
媒体:刚才介绍 V510/V710 的时候也提到了 H.266 的标准,我查了一下 H.266 这个标准在 2020 年就已经提出来了,主要是为了支持 4K、8K。现在 4K、8K 的主要应用端是智能大屏,比如智慧电视,还有在汽车上的一些应用。在这两个领域里,我们这次推出的新品除了压缩技术之外,在低时延方面是不是也有一些新的体验点,我们在功能和应用端上有什么优势?
董峰:是的,H.266 标准在 2020 年就已经被确立了,这期间在标准层面,H.264、H.265 依旧占主流地位,但这其实和技术本身没有太大关系,更多是和专利池、收费等商业环境相关。这一年内,我们看到云端的内容厂商感受是最明显的,H.266 带宽占用近 50% 的大幅降低,让这些厂商能大幅度降低成本。考虑到未来自动驾驶的场景下,我们看到车企有着端到端闭环的需求和意愿,包括了数据的采集和训练,在存储成本、带宽成本等方面都有很强的需求。而安防厂商在质量和成本的平衡过程中,我们发现 H.264、H.265 在技术层面还是存在局限性的,它无法实现代际的提升,代际的提升是需要靠技术的强力推动和整体的技术演进来实现的。在 H.266 的落地上,大家一直考虑的问题是如何去实现成本和收益的正向比较 / 考量。我们在这方面做了很多努力和尝试,但也不是说盲目一步冲到 50% 的收益,因为收益是以数量级增加的成本为代价的,这也不是产业希望看到的。我们希望以技术的支撑来赋能各个垂直产业伙伴,在各个场景下求得整体的平衡,从而满足端到端的完整需求。
周华:我想老师关心的问题可能是为什么 H.266 标准出来了四年多了,我们才发布相应的产品,并作为卖点之一?其实当初 H.265 标准一出来,大概半年左右我们相应的 VPU 产品就出来了,而这次 H.266 对应产品为什么变慢了?我觉得跟行业的整体情况也有关系,比如说 H.264 标准从 20 多年前就开始用,直到现在还在用,在主流的视频网站,基本上占比最大的还是 H.264。我们预计从今年年底到明年,H.266 相关应用会慢慢布局起来,我们想抓住一些高端的客户,抢一点先机,尽管我们花了 4 年才把这一代支持 H.266 的 VPU 产品做出来,但实际上,目前还是很少有厂家能够做到对 H.266 的支持。
媒体:想了解一下在今后的发展方向上,DPU 会不会添加更多的智能化的功能,能自动地识别或者去适应不同的显示需求?很多地方都有大屏的显示需求,客户的定制化需求也不一样,智能化会不会是图像显示芯片的未来趋势?
柴卫华:其实这也是行业在思考的一个问题。大家都知道 AI 比较热,AI 除了尝试一些新的应用,对已有的应用也带来改变。比如说 display 并不是一个新的技术,在行业里显示产品是一直存在的,只是说它现在的形态或者需求发生了变化,比如说现在前端的编解码已经要支持到 8K 了,后端输出的时候也需要支持这样有更高要求的内容。这种情况下,第一个方向是利用 AI 技术来进行辅助,比如说超分,画质提升等等,这些都是未来的技术趋势。在今天的发布的 DPU 产品里,我们主要围绕这几个方面进行优化,性能要满足前端的内容需求,在这个角度我们还是有很大的空间去拓展的。第二,AI 产生的数据量是非常大的,对 display 在实时性和连贯性上要求是非常高的,display 在显示的时候会做预处理,所以在带宽方面可以做到对 AI 的支撑,比如说数据出来之后让整个系统的带宽尽量地减少。
媒体:我们知道一些领先的互联网企业更早地参与到了 VPU 行业,推出了很多自研的芯片;而涉及 VPU 的半导体芯片企业相对比较少,本土企业可能更少。请问这个现象是商业考虑造成的,还是技术门槛造成的?安谋科技作为有代表性的本土企业进入到 VPU 这个行业,您对今后几年本土化企业在 VPU 领域发展的前景有什么样的判断?
董峰:对于互联网企业来说,VPU 自研的目标是很明确的,就是降低成本。他们并不是以一个大众化的角度去切入产品需求的,而是以自身降低流量成本的需求为考量,所以可以不计成本来实现整个系统的优化解决方案,这些方案更多是以一种解码卡或者是编码卡的形态出现的。但 VPU 的实际场景标准化问题也是互联网大厂需要考虑的,因为在内容产生的这一端可以用编码器尽量地压缩数据来降低流量成本,但如果在使用端侧不支持的话,就无法获得优质的端到端的用户体验。自研都是要基于整体生态的方方面面的考虑来做。就像刚才提到的,整体上手机大厂以及手机芯片厂商都面临着一个问题,就是用 CPU 去解 H.266 这么重计算的功耗,各方面的用户体验是直线下降的。相当于是内容想去反压端侧的设备商来降低成本,但整个生态是需要端到端所有的设备去解决一致性的问题的,包括技术标准和流量等各种技术点都需要整体提升,才能达到最终的用户体验。
再回到我们 IP 厂商的视角,我们希望能够更多地赋能所有场景的客户。即使互联网大厂在云端这种场景也在自己做编码器,解码器同样是需要支持多格式、多标准的,因为他们面对的数据来源方也是差异化的。所以说从视频标准的多样性本身来看,就是要解决一些历史遗留问题,不是任何一个厂商能依靠单一的技术实力能够做到的。可以说,VPU 是「历史包袱很重」的 IP 产品,它的技术生态其实是需要基于视频技术标准的多样性和历史性的。
接下来看国内芯片厂商,有一些厂商在自研 H.264、H.265 标准的 VPU 产品,但 H.266 标准的产品技术提升很大,实现难度也很大,不是靠十几人、二十人的研发团队能够快速迭代的。整体上,我们看到云端场景的互联网厂商有很强的意愿,带动整个视频生态逐渐往先进的技术去迁移,这也需要端侧的设计予以支持,来实现整个生态的发展,所以我们还是比较看好 VPU 的应用场景。
周华:VPU 的门槛还是比较高的,因为它是长期积累的,非常多的技术点,并且每个点都不能出错,这是需要十几年的长期积累才能做出来的。很多 VPU 厂商一般也只是做编码器的一两个格式,并不是涵盖所有的格式,但我们是专业做 VPU IP 的,基本上是全覆盖的。
柴卫华:我们提到 VPU、DPU 不是新的东西,而是存在了很长的时间,跟 CPU 不一样,多媒体处理器面向的是一个碎片化的市场,这意味着除了共性之外,需要有一些差异化的东西。我们做 IP 会强调经济效应,当客户需求量大的时候,就帮客户去做这个 IP,当特定需求量没上来的时候,可能我们不一定会关注到这个市场。对客户来讲也有他自身的考虑,可能会通过自己的方式不计成本地做一些自研投入,但对他来讲这样做经济效应可能不是最高的。所以对我们来说有两点,第一是我们花时间取长补短,逐步完善起来。第二是我们在不断探索发现市场的一些需求,现在有一些新的应用出来之后,我们发现这个市场还是蛮有潜力的。归根到底最后考验我们的是,这些 IP 做出来后能不能给客户带来经济效益。我相信如果采用我们的 IP 经济效益更好的时候,想自研的客户可能会有不同的考虑。这是从另外一个角度来回应一下「我们为什么选择在当前发布新的产品?」这个问题。
媒体:刚刚周华总说希望未来有更多开拓客户需求的抓手,基于中国这个市场来说,已经看得见的需求是什么?
周华:我刚才指的是 H.266,现在有些客户在跟我们接触,如果没有 H.266 就不会采用我们 IP,H.266 成了一个关键点。抓手其实还有很多,我们贴近客户,为客户做定制化。一个客户要从上到下做产品是很不容易的,需要一整套生态,一整套软件,是有一些黏性的。我们会帮新客户做一些定制,服务一些贴身的需求。而且买 IP,support 很重要。发现问题以后第一时间就能给你回应,很快帮你解决掉,这是对客户来说非常重要的。我们在方面做得还是不错的,每年都会做客户体验度调查,有什么做的不好的,就会直接回复到我们这儿。希望有一些抓手能扩大我们的市场,提高我们的市占率。
媒体:各位怎么看我们的首款 DPU 产品对多媒体产品线或者是自研矩阵的意义。
周华:display 是多媒体拼图里比较重要的一块,display 子系统有了编解码,就需要显示,哪怕云端不需要显示也需要前处理和后处理,这些都是属于 display 的功能范畴之内的,DPU 产品使我们的多媒体产品线拼图更加地完整,能够给客户带来更好的、完整的解决方案。我们去年也推出了智能视觉参考设计平台,用我们自己的 VPU、NPU、display 给客户提供大致成形的 SoC,相当于一个大 IP 或者是大系统,一个初创公司即使只有几个工程师,拿着我们的这套东西也能很快地进行量产流片,大大缩短研发周期。
媒体:在客户合作方式上有什么独特性吗?目前客户的进展、反馈或者是认可度怎么样?
柴卫华:随着汽车、手机、其他的屏不断增加,SoC 越来越大之后,对设计来讲是蛮挑战的。这个挑战的过程中会考虑到方方面面,比如说整个系统怎么设计得既高效又紧凑。尤其是像多媒体,因为是直接跟视频数据相关的,所以解析度往上走的话,系统的压力还是蛮大的,一方面是对 SoC 厂商来讲,更多是从系统的层面来考虑问题,不是说单单 IP 有多先进、多好,而是 IP 融到系统中对我的系统产生的帮助,比如说对系统的性能、效率、带宽能产生什么样的效率。从我们跟客户的沟通来讲,客户是非常愿意从系统的角度来考虑问题,帮他提升性能的同时能把整个系统的面积或者功耗做到最优或者是降低。这是一个方面,这是标准 IP 的一个选择。
另外,从多媒体需求来讲,除了标准 IP 之外,有很多客户还有自己的想法,想加入一些自己的东西,在共性的基础上产生一些差异化。常常我们遇到客户问的第一个问题是「你的 IP 有人用了没有?」,如果你说有人用了,他就会问「别人也用的话,我能做出一点什么新的东西出来吗?」其实,这两个问题是矛盾的,既要考虑通用性,又要考虑在此基础上能做出跟别人不一样的东西。因此,我们在架构方面,包括在合作模式上都是非常灵活的,跟客户的合作上,除了标准 IP,我们还有定制化服务,这样可以保证客户在需求方面尽可能保留一些自己的想法。
另外,我们还有一些扩展,比方说客户有一些独特的想法,我们想把它融入到整个系统里面去,如果说没有这样的接口的话,硬塞可能效率就不是最高的了。无论是 VPU 还是 DPU,我们考虑更多的是扩展性。如果有新的东西进来,我们希望将其能纳入到整个的系统里,满足整个系统的差异化,或者是将独特的元素集成进来。
关于客户落地方面,我先回应一下「玲珑」DPU 的情况。在这次产品发布会之前,我们已经有很多的产品落地,比如说像汽车、PC、消费电子等领域都有相关客户在推进落地,但是相关终端产品还没有出来,所以具体的客户信息还不太方便分享。未来大家可以看到更多搭载「玲珑」DPU 产品的新型终端设备出来。
董峰:我汇报一下「玲珑」VPU 产品的落地情况。从 2019 年到现在,我们已经成功授权了 30 多家合作伙伴,效果是很明显的,基本每一个不同的合作伙伴都有做一些定制服务,像端边云的定制场景都已经覆盖了,端侧更多是降本,边和云端更多是系统优化,包括前后处理和 AI 场景的结合。整体来说,合作方面确实是遇到了多样性的需求。我们的解决思路是贴近用户去满足定制化的需求。我们「玲珑」多媒体线都有同样的特点,硬件层面就需要和客户就需求不断地沟通和打磨,firmware 固件层面这种调优频率更高,我们在码流控制、编码质量的优化和提升上,和用户一起不断地迭代,频率基本上可以按周计,客户提出一个需求,我们基本上一到两周内就要给相应的反馈,这也是我们架构灵活所带来的特点和优势。针对各个层面的差异化需求,我们会靠团队的努力去打磨、提升,进行整体需求的把控。
媒体:这次发布会各位主要介绍的是在编解码的质量、以及 4K/8K 视频表现上的很多提升,请问在新品架构和采用的技术上有没有什么新的东西?
董峰:我简单介绍一下,新一代「玲珑」VPU 和上一代相比,编解码性能均实现了翻倍提升,并且在 4K/8K 应用场景中的编码质量可提高 25% 以上,技术上的实现是模块化分解,主要是涉及到编码的模块,实现的难度和编码量都是很大的,所以这一代的整体提升是非常大的。
另一方面,如何去平衡成本和收益,这是我们在做产品的过程中一直在打磨的地方。如果想把编码质量再往上提一提,面积可能会有几倍的增加,这样是很难满足各种场景用户需求的,所以我们从开始立项到实现的过程中,一直在整体架构中不断地做技术迭代,可以说这方面的工作量是之前产品的好几倍。
媒体:我还想明确一下有没有新的架构或者是技术?
董峰:「玲珑」VPU 产品的更新更多是微架构层面的,在 ME 的层面确实是采用了新的架构,因为它要做整个性能的翻倍,包括并行度,就 ME 里面的各个模块来说都会做增强。刚才我也提到了 VPU 基于类似 SoC 的架构,吞吐和性能都需要增加,在内部的总线结构层面也是要做提升的。所以可以理解为,在大的架构层面上保有了原来的,但从内部的细节来看可以说有很大的变化。
媒体:刚才您也提到我们采取了面积减少等一系列的措施,以帮助客户去减少成本的投入,因为我们现在的客户主要是国内的吗?
董峰:目前我们主要面向本土客户,聚焦国内市场需求。
媒体:您从这两年客户需求的变化能看出整个产业有什么样的变化吗?
董峰:在 VPU 这边,我们的落地场景覆盖了端边云,在端侧大家都很「卷」,端侧是以成本为第一优先级考虑,但质量不能比以前差,同时又要降成本,又要保持原来的质量,这是在端侧上的共性逻辑。要做到这点,反推到 IP 这边来,我就要想尽办法在业务场景下降低面积。刚才大家看到 V510 VPU 虽然是针对 4K 视频,但在端侧的各种场景下比如说手表就不需要那么大的分辨率,更多的只要到 200 万像素级别的分辨率就可以了,我们会针对性地降低成本;对安防类的设备可能是 300 万到 500 万的级别,同时附加了一些额外的业务需求,比如说如何降带宽。因为降成本不是说以单一 IP 为基础,它更多的考虑是整体的 BOM 成本和板级成本、DDR 的带宽、DDR 的尺寸…… 都是他们要思考的。在端侧特别是泛安防的各个领域,只要是量大的领域,成本考虑都是第一优先级的,这是着实的「卷」。我们和客户沟通和交流非常多,我们的迭代是不断地追求在 VPU 自身以及系统层面的优化,包括之前做过的直通技术,ISP 和 VPU 中间的交换数据不到 DDR 里面,这些都是端侧卷的体现,因为只要能降低 DDR 带宽,对应的成本就会降很多,所以端侧是以「不遗余力地降本」为目标的场景。
而在汽车场景下,差别的地方在于,比如说车有功能安全的需求,虽然 VPU 本身没有那么强的功能安全性的体现,但在系统层面上如果要体现整体的功能安全的话,对 VPU 也有一些特别的要求。对云端来说更甚,它要去做多路,如何让主 CPU 工作负载哪怕降 1%、2% 的幅度,对于它整体的业务的流畅度以及其它方面也都会有更多余力的体现。云端还有虚拟化的实现,要实现云端的软件生态一体化,如何在硬件和软件层面上去适配、适应不同差异的需求,确实是多样性的。好在 VPU 架构本身灵活,我们只要就某些模块进行一些修改、升级,以及用 firmware 固件的提升可以来解决。
柴卫华:我也分享一下 DPU 这边的情况,我非常同意董峰提到的,这两年特别明显我们感觉到「卷」越来越严重,从 DPU 的角度来讲有这么几个角度:
第一,跟 DPU 本身的产品形态有关,比如说 display 是直接面对用户的,所以后台看不到的东西但前台的 display 就不能停屏,不能在播放过程中就突然卡屏了,这就要考虑系统时延的容忍度。因为作为系统的设计肯定是希望用最小的代价,系统负载的东西越多,整个的延时就特别大,这就考验到后面的 IP 对延迟的容忍度到底能不能接受,我们经常会看到客户因为整个系统的延迟要求 DPU 在显示的时候有各种颜色的容忍,比如说域区,整个 pipeline 流水的缓冲,有时候新的技术要放进去。这就变成了让系统产生的开销后端处理尽可能吸收。之前可能不会,因为大家觉得系统干系统的事情,IP 干 IP 的事情,但现在因为要变「卷」了,大家就得一起来想办法。
第二,与 display 比较相关的是不同的场景的需求确实不一样,比如说像车载多屏,客户之前的做法是例化很多个 IP 进去,这样做法肯定是不经济、不效益的。不仅 PPA 可能不是最优的,而且调度起来这些 IP 怎么去协同工作,软件调度也是很复杂的,客户就会要求你能不能通过你的 IP 优化解决我的痛点,最好只用一个 IP,去解决所有的问题,软件的调度也要求是最小的,这也是非常考验场景优化的问题。
IoT 场景又不一样了,PPA 要是最小的,要满足基本功能的情况下达到功耗最低,因为穿戴式本来就是电池供电的,所以面积和功耗是极致的,可能会给你一些之前觉得不可想象的需求,在这方面追求到极致。从这个角度来讲,我们在产品设计的时候考虑的维度还是蛮多的,尽管可能在设计的时候大架构还是延续之前的,微架构这边我们会做一些细调,同时会考虑更多的场景化的因素尽量适配不同的场景。当然,我们刚刚讲的这些其实从标准的产品的角度尽可能地考虑,当然有些考虑不足的还有一些其他的可以通过定制化解决。
就产品来讲,考虑到产品的风险,还是延续了优良的架构,在具体的方面做一些微架构的调整来适配不同的产品,我们觉得这是比较高效的、也是稳妥的一个方式。
周华:我补充一下架构的问题,我刚才说过多媒体产品的「历史包袱」是很重的,我们为了把面积做小,其实是一个 IP 里面兼容十几二十个 format 格式,在一个 IP 里面大家互相分享面积,只要做了一个 format,其他的 format 无论是 decoder、encoder 都要重新地验一边,工作量是非常大的。我们有十几块 FPGA 和 SDK 板子,一天 24 小时,一年 365 天不停地转,达到产品 EAC 的标准。除非是我只在一个 format 上面,比如说最新的 format,如果说我不要给你分享面积了,就是单独的一个 format,肯定要用新的架构。但只要是你想做到面积最小,跟大家融合在一块,大家相互地共享,你只能延续以前的架构,这是有「历史包袱」的。
媒体:关于应用场景拓展方面,我们主要领域是汽车监控、汽车电子、智能家居等,比如说在 VR、AR 眼镜领域会有哪些方面的趋势可以跟我们透露一下吗?
董峰:确实我们之前也接触过一些 AR、VR 客户,整体上来说我们目前感受到的主要是两套不同的技术路线,一种是国际大厂「高举高打」型,它主要思路是更完善的用户体验,超高清率,整体的感知,相应的 AI,包括一些手势等方面都做到了极致的体验。但它面临的一个比较大的问题确实还是重。技术本身确实有一些环节需要解决,比如说低延时、高帧率,都是需要包括 VPU 在内的层面来做突破和实现的。
另外一条路线基本上是「低成本」型,首先让大家觉得 AR、VR 戴上去舒适一些,尽管不是真的实现全场景、只是轻量级的场景感受,比如说国内许多厂商做得相对来说轻量级一些,它更多面临的问题也是降低成本。一方面是因为 VR 眼镜还是受到了续航的限制,电池使用时间是有限的,如何建立体验时长以及带来比较均衡的感受。其实在低端的路线更多的是选择一些垂直的场景,比如说最新看到的一些厂商就是以简单的 HMI 用户界面或者是拍照的场景为切入点,更多是辅以和手机、边缘侧的设备,做整体的端到端的体验。但其实从技术上来说,一直都是面临着两个问题要解决,一个是功耗,还有一个是延时。基本上从我们的技术本身来看,这两个问题如果不解决的话,最终的用户体验上始终是面临着取舍,最终是消费者买单,不管怎么样设备还是以消费体验为最终目标的。对 VPU 本身来说我们也看到了这两个场景下客户对 VPU 的需求,更多是从延时和带宽上来做的。低延迟上我们做了技术的优化,这和云游戏场景也是比较类似的,需要能够将编码的工作以这种条带级的力度往前提,ISP 不需要处理完一整帧而是处理完几十行就让 VPU 编码,基于后续的传输和整体的工作,这能把延时从微秒级降到毫秒级,这是首先要实现的,因为这个体验差异太大了,相应的帧率提升,还有一个是编码质量部分。其实我们整体看,都和带宽包括网络、以及端到端的用户体验是相关的。我们和客户交流下来基本上是这两种思路,但整体对 VPU 的技术需求有点殊途同归,这两点是我们看到的。
柴卫华:我补充一下,刚刚董峰是从系统的角度看这个问题,我们看 AR/VR 可以分两部分,一部分是主要计算单元,包括编解码或 GPU。另外一部分,AR/VR 最终还是要呈现出来。所以,它除了刚才讲的带宽、延时外,跟自己的形态有一定的关系,比如 VR 要达到比较好的沉浸式体验,现在大家都追求的 90 帧、120 帧,同时内容可能也不会再是以前的 720P 了,可能会往 HD、甚至 4K。这么大的内容,它其实很多时候是由 GPU 或其他的 AI 计算单元产生出来的,这些内容产生出来需要消耗非常大的计算资源。现在这也是一个问题,就是在计算资源不足的情况下,怎么样去产生好的用户体验?我们也在看一些技术路线,比如说我们是不是可以通过显示的插帧技术让帧率变得非常高,可以通过缩放技术让小解析度变成大解析度,在输出的时候呈现更好的画面,这个其实跟我们的 AR/VR 这个形态比较相关。
另外涉及到 AR/VR,里面还有一部分是光学显示的部分,大家可以看到它的镜片等,并不是一个标准的形状,里面可能有一些非常规的显示形状,这里面有很多东西需要做图像的校正、改善,这也是我们在关注,未来 AR/VR 这个市场是有很多潜在机会的。
从整个系统来讲,如果考虑到延时的话,前端的延时怎么通过后端弥补?DPU 也需要考虑,比如直连,甚至在系统方面做更多的优化。我这里面还是有很多东西需要继续支撑 AR/VR 这个行业,当然我们现在有一些客户已经在做充分合作,未来,像刚才讲的,需要各个产业继续把这个行业提升到更高、提供更好的用户体验。
媒体:第一个是您预判未来智能汽车内的屏幕数量、屏幕形式会发生什么变化?比如从液晶屏到激光屏幕,多屏到三联屏和四联屏,这些变化会不会对 DPU 的要求更高,对安谋科技的图像显示产品布局会有什么影响?
另外,我们也知道「玲珑」这次发布了「玲珑」D8/D6/D2 DPU,安谋科技「玲珑」这三款 DPU 产品的定位分别是怎么考虑的?
柴卫华:第一个问题,确实是我们最近在思考的一个问题,我们最近也在观察车载市场,尤其是像新能源汽车,发现这个趋势还是蛮有意思的,里面的形态具体来看有这么几类:
一类,大家会把屏放得越来越多,比如大家可以数一数,仪表盘、中控、HUD、副驾驶显示,乘客显示等,这些屏数起来还蛮多的。但看到有些车上放的是多屏的趋势,也有的车上是集中屏,其实是把很多东西集成在前面的大屏上。这对 DPU 确实带来了一些挑战,简单来说,一个芯片厂家做一个芯片出来,肯定不止希望用在一款车上或者某个场景上,肯定希望一个芯片能适配更多的场景。问题就来了,比如怎么样把你的 IP 适配不同的场景?比如多屏,现在我们看到有的座舱芯片甚至要求到接近 10 屏以上,有的说要支持到 8K、10K,这种本身在性能方面有不同的要求。
我们 IP 怎么样适配?就考虑到:第一,通过软件要灵活地配置,比如今天面向的是大屏的市场,我们的 DPU 产品需要支持,再比如面向的是多屏的市场,我们的产品也要支持。另外,未来我们看到行业在讲一个趋势,就是 HUD 未来可能会变成 AR 的形式。这样的话,要考虑更多的新元素进去,是不是考虑到对内容的支持,这些确实对 DPU 带来了很多挑战。同时,我们在这一块也是说在架构方面为什么要做到模块化,要做到可配置,通过软件可调度,也是基于不同场景去适配不一样的客户需求。这是第一个问题。
第二个问题,关于 D8/D6/D2 三款处理器的定位,我们认为对于多媒体来讲,刚才讲到多媒体本身是一个比较碎片化的市场,不同的场景本身需求不一样,就算同一个场景里需求也不一样。所以,我们在做产品设计的时候是希望产品尽可能覆盖标准化的需求,当我们在定义的时候,像 D8 瞄准的是高性能的,它的性能体现在做单屏的话,一个 IP 可以支持到 8K60 帧。另外,像刚才讲的在车上,如果不是大屏而是多屏的话,单个 IP 可以同时支持到 4 个 4K60 帧这样的实时显示输出。
其次,D6 是面向现在主流的应用,比如是一个 4K 的屏,能够对 PPA 做比较好的平衡,所以它的性能不是最高,它可以做到 8K30 帧,或者做到 4K120 帧这样的主流场景。同时,它可以支持到两个 4K60 帧的实时显示输出,这都是比较主流的需求,我们在 PPA 上,面积功耗可以得到比较好的平衡。
最后,D2 瞄准的是低能耗的场景,像穿戴式、物联网这类场景,它主要偏向于把面积功耗做到极致的场景上。
从产品定位上,我们还是希望性能从高到低、从面积最优等各个维度去考虑。