编者按:上次,我们聊到了专业音视频领域Pro AV的发展,而作为音视频的半壁江山,“听”的力量绝不对不容小觑,好的音频体验可以让听者更有“沉浸感”,实现身临其境的效果。本次,我们对话了专注于音频领域的赛因铸声场,创始人吴健从1999年开始从事音乐技术工作,2000年为中国摇滚音乐家崔健设计了现场录音系统,完成话筒信号分裂机和放大器的研发,崔健使用至今。如今,他们将关注放在汽车座舱声学的处理,希望能够创造完美的声学体验。以下,是LiveVideoStack与赛因芯微的对话,希望对你有所帮助。
LiveVideoStack:吴健老师您好,请您先简单介绍下赛因芯微以及贵司所专注的方向吧。
吴健:赛因芯微的技术团队在专业音频领域研发超20年,从模拟音频到 DSP,再到今天的FPGA音频传输入与处理,2021年,我们参与了工信部的虚拟现实国家音频标准,广电总局的广播电视与互联网视听行业标准以及世界超高清产业联盟的Audio Vivid团体标准的制定。在这些标准里,我们用40多项发明专利定义了中国下一代音频标准(NGA)。
我们公司的业务向专业音视频行业,电子消费行业提供创新的音频技术,这些技术以FPGA硬件逻辑为基础,提供了高效,极低延迟的解决方案。区别于国外行业通用DSP技术体系,我们的算法更高效,更智能。
LiveVideoStack:目前,在汽车座舱的声学处理当中,提升音频技术的难度有哪些?
吴健:随着新能源车的普及,消费者对于车的关注从驾驶性能需求转移到多方面的乘用体验,尤其多媒体体验。声音是必不可少的。在汽车声学处理中,车内的小空间、不规则的镜面反射、多座位的声学适配和多种格式的音响节目适配一直是难题,传统的声学技术无法解决以上的问题。 想要提升音频体验就要跳出传统的声学DSP处理技术和调试方法,使用最新的声场合成技术能够完美地解决以上难题,但是声场合成技术也会遇到瓶颈。功耗、处理能力和实时性都会影响算法设计的空间。
LiveVideoStack:传统的声学DSP处理技术和调试方法有哪些缺陷,SineMedia的数字处理方式是如何化解的?
吴健:大多数厂商使用的DSP(digital signal processor)芯片方案每一次处理都需要从内存中获取数据,再将结果输出到内存,这样的方式引入了缓冲延迟。
现代音频算法需要更大的通道处理能力,更多的滤波器处理能力,更多的人工智能推理能力,而 DSP芯片并没有随之发展,十多年来一直500M的处理能力,只是从单核到四核的成长,多通道,高并发,更多阶数的滤波器执行只能通道增加单板DSP芯片数量来实现,数量的增加带来调试,生产的难度和成本相应增加,也带来稳定性的降低。以上两个局限性使音频声学处理无法发展。高精度,高算力,低延迟的算法很难实现。
LiveVideoStack:利用AMD的并行处理能力,赛因芯微解决了汽车声学中的哪些痛点?
吴健:汽车声学是一个很复杂的话题,简而言之就是播放的节目无法兼容这样恶劣的声学环境和这样的扬声器布局。我们传统的节目设计制作出来是为了一个中心位置来听的,车内却没有一个好的听音位置。
听音位置、扬声器布局、强反射的小空间……技术决定了汽车不是一个好的听觉空间,但却是人们最需要获取音乐享受的应用场景。
我们用复杂声学建模的方式来解决这一难题,但是需要强大的DSP处理能力和快带的AI模型推理能力。应用 AMD Xilinx 的ZYNQ FPGA来设计解决了这一难题。
LiveVideoStack:赛因芯微是如何利用FPGA高阶实时FIR进行相位校准的?这个技术对于空间音频有着怎样的提升?
吴健:当我们开始相位校准项目开发时,除了算法的独特性以外,算法的设计的前提就是我们可以引入上万阶的FIR滤波器,FIR的滤波器的特性是能够操作频率响应的处理,但不影响相位响应,但是FIR的效率不如IIR,所以从来没有一个技术团队使用高阶的FIR来处理音频。我们利用ZYNQ器件上的多DSP slice并行处理解决了这个问题,并在1个音频采样点内完成了8192*2阶FIR滤波器的实现,让音响工程师们听到了从未听到的效果。
LiveVideoStack:聊到体验,也想问问您自己的感受。做了这么多年的音频,对您来说,什么才是您心目中的完美的音频体验呢?
吴健:完美的音频体验,就像你坐在小型音乐厅里一样,在没有音箱扩声的参与,座位不会太大影响听者的听感。高清晰度和低失真度是完美音频体验的基础,听众要听到是真实在自然中感受到的乐器,听觉事件。这些也是音频节目制作者努力要传达给听众的感受。因此我们把注意力和开发精力全部放在汽车声学这一世纪难题上。音乐能够使旅途更加放松,享受。
LiveVideoStack:未来赛因芯微会更关注哪些方面的技术?本次专题研讨会上,您会为我们带来哪些观点?
吴健:未来,我们将持续关注Versal系列ACAP新的架构,探索在AIE上实现高性能DSP音频处理的可能性和灵活性。在本次的专题研讨会上,我们将分享如何应用FPGA来实现对汽车声场的建模来提升车内声学的整体效果和性能。
10月19日 14:00 – 16:30
AMD ProAV技术与方案分享专题研讨会