深圳湾 · 2021年08月06日

从「透明模式」到「对话增强」,计算音频加速苹果在「助听」道路上的探索

Uploads%2farticles%2f15154%2f %e5%8a%a9%e5%90%ac%e5%99%a8cover
近日,在苹果最新发布的 AirPods Pro 固件测试版本(4A362b)中,有细心的开发者发现,该版本已经增加了对「对话增强」功能的引入。

在今年 6 月的 WWDC21 上,苹果为 AirPods Pro 带来了多项技术更新,其中「对话增强 / Conversation Boost」功能就是其中之一。

苹果先是通过 iOS 15 为 iPhone 的麦克风带来了「语音增强模式」和「宽频谱模式」两项功能更新,意在提升使用 FaceTime 视频通话时的声音体验。

语音增强模式可以对人声与环境噪音进行区分,让设备优先处理人声,并将人声变得更清脆响亮。而宽频谱模式则能够提升对视频通话方周围环境声音的感知,从而呈现出通话中的环境音。

语音增强
△ 语音增强模式

宽频谱模式
△ 宽频谱模式

AirPods Pro 的「对话增强」功能与 iPhone 的「语音增强模式」如出一辙。基于计算音频和麦克风波束成形技术,「对话增强」这一技术能够将人声与环境噪音区分,从而让佩戴者能够更加聚焦对面谈话者的人声。

Conversation_Boost
苹果还提供了环境噪音的控制条(Ambient Noise Reduction),通过控制环境噪音进入量的大小,来进一步提升对人声的感知。

yt1s
AirPods Pro 的「对话增强」非常适合在嘈杂的环境中使用,因为减少环境噪音,意味着可以更加聚焦在对话者的语音。

苹果还特别强调,「对话增强」还适合患有轻微听力损伤的人。

苹果关注听力健康由来已久

世界卫生组织预计,到 2050 年,全球将有超过 7 亿人将经历严重的听力损失。而苹果关注听力障碍由来已久。

\> 延伸阅读:挺进 7 亿人听力健康大市场!Bose、Jabra、苹果、Google 和更多玩家来啦!

早期的苹果通过电传打字机(TTY)和实时文本(RTT)的方式,帮助听障人士进行电话交流。其中 RTT 除了可以输入和传输文本外,还可以实时传输音频内容。

在之后的 iOS 10 更新中,苹果实现了无需配备额外设备的情况下,实现 TTY 和 RTT 的「助听」功能。

随后,通过 watchOS 7 的更新,苹果又将 RTT 功能引入到了 Apple Watch 上。这对于在电话中无法听清对方语音的听障人士,提供了基于文本的对话。

Apple_RTT
2014 年,苹果则推出了 Made for iPhone 的 Live Listen 助听器计划,为助听器设备设计了全新的低功耗蓝牙协议,首次实现了助听设备和智能手机之间的无缝音频传输。

在「设置-辅助功能-助听设备」中将 MFi 认证的助听设备与 iPhone 配对,然后助听器佩戴者就可以使用 iPhone 打电话、FaceTime、与 Siri 互动等。

苹果称之为「世界上最先进、最广泛的智能手机助听器平台,拥有来自 40 多家制造商的近 200 种助听器型号」。

13-Hearing_Aids_config
2018 年,在 iOS 12 中,苹果又将 Live Listen 助听功能带入到 AirPods 上。将 iPhone 作为拾音麦克风, 进而传导至 AirPods 上。这个功能可以在嘈杂的环境下,对有一定听障的人士带来更清晰的听觉内容。

Apple_Live_Listen
除了在助听方面的重视,对于听力的保护,苹果也在不断尝试。

2019 年 WWDC 上,苹果在 watchOS 6 上引入了噪声应用功能,来监测环境音量和暴露持续的时间,并且可以对环境音量大小做分贝值预设,当监测的数值超过预设值后,手表会发出自动提醒。

Apple_Hearing_Study
今年 3 月,在世界听力日之际,苹果分享了在听力健康领域的新见解。

基于 iPhone 和 Apple Watch 所搜集用户的噪音水平数据,分析得出:25% 的参与者每日平均环境声音暴露高于 WHO 建议的限值;近 50% 的参与者现在或以前曾在嘈杂的工作场所工作。

使用 Apple Watch 上的「噪音」应用程序可以检查噪音水平,并在发现噪音水平可能影响听力健康的时候,收到提醒。

Apple_Watch_%E5%99%AA%E5%A3%B0%E5%BA%94%E7%94%A8

苹果希望帮助轻度听力损伤的人听清对话

尽管 AirPods Pro 并不具备助听器的功能,但对于轻度听力损失的人来说,可以通过 AirPods Pro 的「对话增强」功能获得听力的改善。

我们知道,AirPods Pro 具备三种听音模式,即 Normal(正常)、Noise Cancelling(主动降噪)和 Transparency Mode(通透模式)。

而从技术角度,「对话增强」正是从「透明模式」衍生出来的助听功能。

这一技术的基础是计算音频、麦克风波束形成以及基于算法的语音增强技术。不止苹果,近年来我们在索尼的旗舰产品上,也看到了类似的技术规划。

sony
\> 延伸阅读:索尼的声音大法离不开芯片和算法

索尼在最新的 WF-1000XM4 真无线降噪耳机上,提供了「环境声音控制」的模块,让用户可以对降噪和通透的等级进行精细化管理。

如下图所示,索尼的「环境声音控制」具有 20 档的等级,而「关注语音」选项又能决定是否聚焦语音。这与此次 AirPods Pro 更新的「对话增强」在技术原理上是相似的。

5
控制环境音进入大小、增强对话中的语音、麦克风和骨传导定向收音、边缘计算芯片加强运算能力,这些是我们近年来看到的计算音频的方向。

通过「对话增强」改善听力是计算音频的应用之一。目前,苹果的「对话增强」只能对环境噪音的进入量进行控制,单从技术指标上来看,AirPods Pro 离专业的助听器还相去甚远,但苹果已经在路上了。

越来越多的厂商,正在模糊入耳式耳机和助听器之间的界限,最终让存在听力障碍的人从中受益。





微信号:深圳湾 / shenzhenware
来源:深圳湾官网 / shenzhenware.com
版权声明:本文为深圳湾原创文章,极术社区经授权发布

推荐阅读
关注数
4351
内容数
60
2020 年产品、技术、应用、行业,全面汇总整合,关注智能音频产业上下游生态。
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息