极术小姐姐 · 9月27日 · 北京

多媒体产业开辟新航道,国产DPU与VPU IP加速落地

多媒体产业历久弥新。从粗糙像素画面到超高清视觉盛宴,从有限色彩到广色域、高动态范围的精准呈现,从单一影像记录到沉浸式虚拟现实体验……多媒体技术的每一次进步都在重塑我们感知世界的方式。

如今,多媒体产业正处在技术的关键交汇点,传统应用生命力不减,又迎来了5G、AI等创新技术驱动的变革浪潮。在云、边、端全场景覆盖下,多媒体技术深度融入可穿戴设备、手机、平板、汽车、家居、机器视觉、服务器等领域,走向更加智能化、高效化和沉浸式的未来。

在这个快速发展的领域,图像显示处理器(DPU)和视频处理器(VPU)的作用愈加突出,它们不仅是实现高清晰度、高帧率视频的关键,也是推动沉浸式体验和实时互动技术发展的核心驱动力;它们不仅决定了内容的显示效果,还直接影响着用户体验和多媒体应用的发展,对多媒体产业的未来至关重要。针对产业需求,安谋科技日前推出了旗下首款本土自研的图像显示处理器——“玲珑”D8/D6/D2 DPU,以及新一代高效视频处理器——“玲珑”V510/V710 VPU。

“卷”起来的多媒体市场,前景如何?

在多媒体应用这个越来越“卷”、甚至有些领域已经厮杀成一片红海的市场,现在推新品是不是一个好时机?例如在安防监控等领域,由于市场相对成熟、玩家众多、利润空间较为有限,“卷”就体现得更为突出。

安谋科技DPU高级产品经理柴卫华认为,这首先和产品形态本身有关,因为图像视频应用通常是直接面对用户的,为了实现更好的用户体验,必须要从整体系统优化的角度来进行设计,这是让从业者觉得“卷”的一个因素。第二,不同场景的需求确实不同,这就非常考验IP的场景化能力。

安谋科技VPU高级产品经理董峰谈到了不同场景的差异化挑战:比如端侧的共性逻辑是尽可能降低成本,同时还要保持甚至提升质量;而云端市场,VPU的设计重点在于提高效率和降低主CPU的工作负载,同时支持虚拟化和软件生态的一体化;再看汽车领域,VPU还需要满足功能安全要求等等……这些多种多样的要求都要求VPU 的IP架构足够灵活,能够适应不同场景的需求。

安谋科技多媒体处理器研发负责人周华分享道,“‘极致性价比’是端侧市场必须要面对的一个挑战,我们和监控领域的客户一起抠画质细节好几年,来来回回两千多封邮件,全都是关于细节的沟通和优化讨论,包括内存空间、DDR空间、带宽等等。但如果能省出来一颗DDR芯片,成本马上会下降很多,这对于应用很关键,客户和我们都非常重视这些过程。”

“不过,这并不是多媒体市场的全貌,随着技术的不断进步和应用场景的扩展,整个行业充满了新的机遇和增长点”,他强调。

仅以汽车电子为例,第三方数据显示,2022年国内车载摄像头的搭载量为5046万颗,预计2025年将超过1亿颗,年复合增长率为25.7%。此外,大屏化、多屏化、高清化将带动车载显示市场规模稳固上升,其中HUD和电子后视镜将贡献主要增量市场,预计2025 年车载显示市场规模可达1208.3亿元。

此外,产业正处于向8K升级的关键时期,随着8K内容的逐渐丰富和8K显示设备的普及,对能够处理更大数据量的高性能图像视频处理器的需求也在增加,行业正在开启新一轮发展周期。

本土自研首款DPU,单一IP满足多元需求

图像显示处理器(Display Processing Unit, DPU)是影像设备和视觉系统的核心组件,随着图像显示技术的应用边界不断拓宽,超高清、大屏、跨屏联动、多视频流/多图形界面显示、数据安全等,给DPU带来了新的技术挑战。

此外,还有广泛应用覆盖下所面临的碎片化问题,给芯片IP开发带来了不小的挑战。因为IP是一个极度强调规模效应的领域,只有需求量足够大的时候,才能体现出经济效应。这也意味着DPU需要“以一当百”,在单一IP中平衡好通用性和差异化。

柴卫华介绍说,“‘玲珑’DPU产品架构是基于标准化、模块化的设计,我们在开发时保持了优良架构的延续性,对微架构进行了细调,以适配更多的场景化因素,保证了高效性和差异化的同时,实现了架构的灵活可配置。”

“玲珑”D8/D6/D2 DPU单核性能可达每秒8K60帧,如果客户需要比较复杂的多显示输出,可以通过软件驱动让4个每秒4K60帧的显示处理并行工作,从而达到4个显示同时输出。除了架构本身,安谋科技也充分考虑了各类场景的丰富应用,最多可以支持16层的内容输入,有效促进系统资源的利用和管理。

此外,“玲珑”DPU实现了完整的系统支持,内置Arm AFBC帧压缩和解压缩模块,这使得它在确保整体系统方案的高性能和高画质的前提下,最大限度地节省了带宽及功耗;集成的MMU-600/700中的转换缓冲单元(TBU)模块,可针对不同显示场景进行专门优化,以进一步降低系统访问延时。此外,“玲珑”D8/D6/D2 DPU还支持Arm TrustZone媒体保护(TZMP)架构,实现了软硬一体化设计,能够为显示数据的安全性提供强力保障。

为了确保可扩展性,“玲珑”DPU架构中还预留了一个接口(Coprocessor Interface),用于给客户做接入。

image.png
“玲珑”DPU架构图

基于灵活可配置的架构,“玲珑”DPU系列实现了从高性能到低能耗应用的广泛覆盖,同时在性能、面积和功耗等维度上实现了较好的平衡。其中,“玲珑”D8系列主要面向高性能显示的应用场景,可实现每秒8K60帧的实时显示处理,或者单IP核支持4个每秒4K60帧的实时显示输出;D6系列则针对性能能效优化显示的应用场景,可实现每秒8K30帧或者4K120帧的实时显示处理,或者单IP核支持2个每秒4K60帧的实时显示输出;D2系列则用于注重能效比显示的物联网场景,可实现每秒2K60帧的实时显示处理。

“DPU使我们的多媒体产品线拼图更加完整,能够给客户带来更好、更完整的解决方案”,周华表示,“DPU未来的优化方向之一是利用AI来提升画质,比如超分辨率和画质增强等技术。同时,AI技术产生的大量数据对显示设备的实时性和连贯性提出了更高要求,DPU设计需要考虑如何在带宽方面提供对AI的支持。简言之,AI技术的融合将是DPU产品性能提升的关键,智能化将成为图像显示芯片一个重要的发展方向。”

编解码融合,国内首批包含H.266的VPU

随着视频应用越来越广泛,更高清的视频分辨率、更高效的视频压缩技术、更先进的视频编解码算法成为了主流趋势。与此同时,视频标准也在不断地迭代升级。最新的国际视频编码标准H.266能够提高4K和8K超高清视频的压缩效率,且在同等画质下,比上一代标准节省约50%的流量,使得高清视频的传输和存储成本得以显著降低。

“玲珑”V510/V710 VPU是国内首批同时包含H.266编码和解码的VPU产品。相较于前代, “玲珑”V510/V710 VPU的编解码性能均实现了翻倍提升,并且在4K/8K应用场景中的编码质量可提高25%以上,新增了屏幕显示菜单OSD前处理功能,能够更好地兼顾主流市场和新兴应用的实时编解码需求。

其中,V510系列主要面向4K及以下视频的应用场景,最多可支持4核配置;V710系列则针对高端的8K视频应用场景,最多可支持8核配置。

据董峰介绍,“‘玲珑’V510/V710 VPU采用了多核多格式编解码融合的可编程处理架构,单核的编码或解码性能可达到每秒4K60帧,能够根据端、边、云等不同场景需求,分别提供1-4核、4-8核等多种配置。”

他强调,传统的编解码分离架构,编、解码过程各自需要内存资源。安谋科技在“玲珑”VPU中采用了融合架构,旨在通过内部复用pipeline来减少资源消耗。在技术层面,通过加速器和数据流层级的优化,并结合MCU控制而非纯硬件控制的方式,可以适应不同的数据流控制需求。

以“玲珑”V710为例,架构中集成有5个MCU,MCU上运行的固件是架构实现灵活性的重要原因。这相当于不同的MCU对应控制不同的硬件加速器,在spec分析阶段,考虑哪些可以固化、哪些可以通过灵活的软件配置实现。正因如此,“玲珑”V510/V710 VPU在大幅节省存储空间及带宽成本的同时,还能按需配置,确保系统性能、功耗和面积的最佳平衡。

image.png
“玲珑”V710架构图

在周华看来,芯片一旦流片后,改动的代价非常大。而固件可以在流片后继续进行调整优化,比如码率控制、编码质量的优化等,甚至一些硬件bug都可以通过固件来解决,且调优效率更高。此外,固件负担了和硬件交互的一些工作,也极大地缓解了主CPU的工作量。

不过,MCU固件在带来灵活性的同时,也增加了大量的验证工作,需要投入的资源非常多,这也是该架构的门槛所在。“VPU在某种程度上类似于SoC,专注于业务场景的数据流管理。安谋科技在这方面拥有强大的系统级架构设计能力,尤其在IP层面的系统化设计上具有优势”,董峰强调。

为了实现多核并行和性能的线性提升,“玲珑”V510/V710 VPU还创新性地在数据处理任务中实施条带级划分,从而更细致地分解和考量架构,实现了多核并行处理和性能的线性提升,同时显著提高了面积效率。在实际应用中,“玲珑”V510/V710 VPU可以根据客户需求进行灵活配置,快速响应需求。

为帮助开发者基于各种视频编解码标准进行快速部署,“玲珑”V510/V710 VPU还提供了一整套完备的固件工具及软件支持,凭借软硬件交互的架构设计,开发者后续还可通过软件升级对既有硬件进行灵活扩展和优化。

目前,国内头部的互联网内容商已经开始在H.266标准层面上展开相应的部署,包括H.266数据流、从端侧到云端的转码等,主要是在低码率以及带宽变化比较频繁的场景下,通过H.266技术带给用户更好的实际场景感受。“H.266很可能会成为我们的抓手,明年在客户产品布局上会发挥更大的作用“,周华表示。

据了解,“玲珑”VPU系列面世超过三年,目前已授权30多家国内合作伙伴,并应用于手机终端、PC、智能汽车、智能安防等主流场景。此外,2023年推出的Arm智能视觉参考设计也集成了“玲珑”VPU,支持紧凑的、多格式且高效能的视频编解码处理。

承担多媒体产品的“历史包袱”,赋能本土应用创新

回顾从业经历,周华不无感慨地说,“我在十二三年前成为了一名VPU工程师,应该是国内首批VPU工程师,对多媒体产品的‘历史包袱’深有体会。这主要体现在视频格式和视频标准的持续演进,为了实现更小的芯片面积,一个IP往往需要兼容以往的十几、二十几种格式,并且每新增一种格式,编、解码都要重新验一遍,这个工作量非常庞大,对设计能力有较大的挑战。”

理解并应对这些“历史包袱”对于多媒体产品的持续发展至关重要,“玲珑”多媒体产品线就在这样承前启后的布局中不断实现了迭代、升级。

周华表示,“‘玲珑’的成长,其实也是安谋科技自研业务持续进化的一个缩影。通过立足本土市场和客户需求进行针对性布局,全面发挥Arm技术体系的技术基因和生态优势,我们能够从IP上游视角和系统化思维出发进行全局考量和协同创新,这是我们不断成长的关键。要解决历史遗留问题,这决不是任何一个厂商能依靠单一技术实力做到的,我们始终在打造基于技术标准的多样性和历史性的技术生态。如今,多媒体产业迎来新的窗口期,作为IP厂商,我们希望赋能更多场景的客户。”

谈及在中国庞大的多媒体市场中的定位,周华认为安谋科技既是“学徒”,又是“标兵”。从行业特点看,多媒体业务面向的是一个高度碎片化的市场,客户既要求标准化和适用性,便于快速研发和灵活扩展;同时也要求一定的差异性,针对特定的市场进行创新。这就需要与客户密切沟通,可以说客户是“师傅”,安谋科技是“学徒”,将客户的行业实践积累和自身IP技术积累进行叠加,实现优势互补。

另一方面,AI、智驾智舱等新技术,为本土产业链打开了新的增长空间。同时,基于图像和视频的数字多媒体技术也在不断发展和普及,成为终端智能化升级的“加速器”。“巨大的机遇面前,安谋科技希望能够做好‘标兵’,为本土客户提供多元化且符合本土产业需求的产品和解决方案,助力国产芯片厂商在多媒体技术领域实现创新发展”,周华强调。

作者:张慧娟
来源:与非网

推荐阅读
关注数
14234
内容数
122
安谋科技是国内领先的芯片IP设计与服务提供商。作为一家独立运营的合资企业,公司立足本土创新,坚持以自研业务技术创新和Arm技术授权相配合,为中国集成电路产业提供丰富的产品组合和解决方案,赋能中国智能计算芯生态。
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息