脑极体 · 2022年02月25日

几纳米间风云:手机摄影的制高点争夺战

今天,AI之于智能手机的必要性和重要性,已经不言而喻,甚至出现了“无AI不手机摄影”的说法。不过,当越来越多的手机品牌和厂商开始为摄影注入AI,原本被看作差异化能力的AI,似乎也演变成了一种同质化的宣传口径。

在一片“乱花渐欲迷人眼”的AI叫嚣声中,哪些厂商手里握有真正的技术底牌和创新能力?究竟能够给手机摄影带来了哪些实质性的提升?其中一个差异化的指标可以是:是否有自研AI芯片。

这既是一种底层能力。作为AI落地的算力支撑,如果没有芯片的支持,以及软硬件协同,手机在跑影像算法时很容易出现算力不足、耗电量大、运行缓慢、识别处理效果不理想等情况。

也是一种顶层优势。在全球范围内,拥有自研AI芯片意味着可以最大程度地发挥出硬件优势,让影像功能与AI计算更好地结合,革新体验。具备芯片自研能力的苹果、华为等,也是这一轮手机AI摄影的引领者,稳稳地占据高端市场份额。

众所周知的芯片博弈,让出了一大块高端市场,吸引了诸多中国手机厂商竞逐。可如同过江之鲫的“高端化”战略中,谁又拥有“自研AI芯片”这种重量级的底牌呢?

image.png
这个节点,OPPO首款搭载自研影像专用 NPU 马里亚纳 MariSilicon X 的双芯影像旗舰亮相,自然也就肩负了更多意味。

一方面,对于个人消费者来说,全新的NPU芯片商用,带来手机影像能力的升级,也将加速整个行业的持续创新;

此外,如果国产厂商的自研芯片之路一直走不通,品牌高端化就无从谈起,中国手机产业的局限就一日无法打开。OPPO 在 3 年时间里完成了首款自研芯片的设计、研发、量产和商用,完成了从0到1的跨越。

中国手机厂商如何争夺高端版图中的制高点,今天我们就来讲讲,OPPO的冒险与突围。

战场:影像能力与AI芯片的对峙

占领制高点,是很多战争中左右局势的关键。比如著名的宋辽对峙,就在长达几十年的时间里,展开了一场争夺制高点的军备竞赛,北宋修建料敌塔,大辽就赶紧修座更高的智度寺塔,接下来北宋又“后来居上”,修建了更高更大的开元寺塔。可以说,争夺制高点对军事警戒起到了至关重要的作用。

如果将高端市场看作一个战场,那么芯片就是当之无愧的制高点,也是一个少有中国手机厂商能攻克的巨大痛点。

image.png
缺少自研AI芯片,至少在两个方面埋下了隐患:

1.“爽感”无法即时满足。在手机影像功能中引入AI,本质目的是希望通过AI算力与算法的应用,高效实时地进行图像处理,让用户在拍摄过程中就能够感受到智能计算的魅力,按下快门的一刻就“大师附体”,但传统芯片算力不足,需要将照片上传到云端完成计算,这种延迟自然会影响用户体验。而依靠CPU+GPU的传统移动运算模式,处理AI任务比较吃力,增加了手机能耗。要在本地完成AI计算,解决方案当然是引入NPU芯片来专门负责卷积神经网络的计算。

2.“差异感”无法实现。如今厂商热衷抢首发,根源还是消费者有差异化的需求,希望获得新的体验。但依靠供应链厂商的通用方案,不可能实现真正的差异化。只有自研芯片,才能真正打通垂直链路,从底层定义创新。登东山而小鲁,登泰山而小天下,想要进入高端市场,打开“技术版图”是毋庸置疑的发展方向。

OPPO想要攻下“自研芯片”已有三年之久,组建超万人的研发团队,在2021 未来科技大会上,创始人陈明永还坚定地表示,会持续投入资源搞自研芯片。

围城:最强技术关隘,OPPO的遣兵调将

当然,我们对中国手机厂商的芯片突围也不用过于严苛。“为什么不自己做芯片”这种问题,类似于“为什么不上清华北大”,是因为不喜欢吗?

芯片作为一种高门槛技术,放眼全球也就苹果、华为、谷歌、英伟达、高通等少数企业跑通了。OPPO虽然建立一定的技术壁垒,但在自研芯片上还是个新人。面对这个最基础、最具挑战的领域,既要有啃下硬骨头的自信,也要避免有勇无谋的莽撞和盲目投入。

刚刚亮相的OPPO首款自研影像专用NPU,让我们可以看到OPPO如何在基础芯片领域里排兵布阵:

第一颗棋子,放在了性能。浮点数的运算能力,也就是FLOPS(floating point operations per second每秒计算的浮点数目多少),是衡量移动AI芯片计算能力的关键指标。OPPO的首款自研NPU马里亚纳 MariSilicon X芯片,采用了DSA专芯专用架构,结合先进的6nm工艺制程,能够提供等效高达 18TOPS 的 AI 算力,可以帮助夜景视频等AI任务摆脱算力不够的桎梏。

第二颗棋子,放在了影像。作为一款影像专用NPU,马里亚纳 MariSilicon X芯片的加持,让OPPO最新旗舰系列的视频处理能力,通过AI实现了全面进化。比如基于强大的算力,大幅提升了图像处理速度,驱动智能HDR融合算法的运行,最终令画面动态范围比Find X3 Pro提升了4倍,达到了惊人的20bit 120db(20TOPS)。

第三颗棋子,放在了算法。决定手机影像能力不只有硬件,还依赖于软件算法与硬件的深度整合调教,想要做好影像旗舰体验,必须把整个影像链路上各个环节控制在自己手中,包括传感器、芯片、算法等。此次OPPO Find X5 系列搭载的行业首个硬件级双 OIS 防抖方案,就是算法与硬件的融合方案,硬件上的五轴防抖能应对各种方向的运动轨迹。AI算法则对场景进行识别和精确降噪,软硬结合带来极致稳定的视频画面。

image.png
第四颗棋子,放在了能耗。AI虽好,用一会儿电没了可不能忍,因此AI芯片必须解决实时计算的耗能问题。OPPO采用了SoC+NPU的“双芯”模式,让SoC集成芯片骁龙8 Gen1和AI处理单元马里亚纳 MariSilicon X,共同发挥作用,针对不同的任务类型各司其职,组成手机核心运算的左右大脑,超低功耗的同时带来极致的性能表现。

四枚棋子,分别点在了关键位置。当这些技术关隘被一一解决,OPPO的手机影像突围,也就如箭在弦。

冲锋:AI影像的质变与新武德

从技术革新性上看,OPPO的首款自研影像专用NPU确实突破了很多技术瓶颈,但比武就要讲武德,最终还是靠实际效果来验证。

搭载马里亚纳 MariSilicon X的OPPO Find X5旗舰系列,在影像上有哪些差异?

研究之后,我认为变化主要来自三个方便:

  1. 现有能力的升级。

澎湃算力与软硬件整合,带来的是手机影像能力几个关键项的持续精进。

更清晰,算力能够支持流畅的数据计算,处理速度也大幅提升,每帧画面均进行像素级 AI 降噪处理,让夜景视频从1080P 的画质走向4K清晰度。

更真实,不同于简单粗暴地叠滤镜、加元素,自研芯片也为3A 算法的自研开发提供了基础,从而能够针对性地去解决色彩问题。在一些纯色或大面积混淆色的情况下,带来更准确的还原,让画面更加真实。

image.png
2.从无到有的创新。

更强大的能力,也让AI应用创新有了开发的土壤。OPPO Find X5旗舰系列的影像能力,就让习惯了美颜、滤镜、贴纸、AR等AI应用的用户,依然还能产生“原来还能这样”的惊喜感,比如:

原来,不用在系统相机和第三方软件之间反复横跳,也能拍出高品质画面。

以往在使用社交软件、娱乐应用的拍摄功能时,画质都没有系统相机的高清,很多人只能先用系统相机拍好,再上传到第三方平台上。而马里亚纳 MariSilicon X将复杂的计算前置在RAW域,可以直接输出更准确的原始图像信息,避免了格式转化带来的画质折损。让第三方软件的拍摄效果不必再“将就”,减少了用户的操作之苦。

3.专业摄影的强化。

计算摄影开始处理越来越丰富的图像任务,如何让手机摄影表现出超越专业摄影的能力,还需要大量的巧思和创新。

OPPO Find X5系列中的行业首个双 OIS 防抖方案,就实现了比电子防抖更强的能力。不靠稳定器之类的“外挂”,也能拍出清楚的画面。有多少同学和我一样,手机拍照连把画面拍清楚的及格线都很难达到,拍人物全是残影,拍风景都很朦胧,全靠稳定器和防抖算法“抢救”呢。

这次OPPO想了个办法,直接把“稳定器”给内置到手机里了,悬浮运动防抖技术通过硬件+算法,让防抖一步到位。为了减少来自四面八方的抖动,对几种不同方向、不同幅度和频率进行拆解,再用算法将抖动数据分配到镜头和传感器两个活动组件上,然后通过马达或记忆金属带动镜头或传感器产生位移,从而实现了双重光学防抖的效果,提升画面的清晰度。

这些影像体验的创新表明,自研AI芯片与算法的领先性,让OPPO成为了一支对高端市场发起猛攻的队伍。拿下芯片制高点,将成为高端品牌的“新武德”。

新大陆:下一个战场的生态遐想

从发现芯片这一赛道,到手机影像的能力领先,毫无疑问,OPPO选择了最难走的一条路。而自研芯片的技术突破,如同内燃机之于工业革命,会成为撬动行业新格局的胜负手。

拿下制高点,OPPO接下来会怎么走?有几种情况是很有可能发生的:

1.高端市场的不断打开。此前,一大部分让出的高端市场份额被苹果拿走,对于国产手机厂商来说,产品才是打开高端市场局面的核心武器。目前,中国有能力设计并量产 6nm 芯片的厂商只有 4 家,OPPO 是其一,这也使其有能力积极填补并卡位高端空窗期。此前,OPPO Find N凭借自研铰链技术实现了几乎隐痕的折叠屏效果,在高端档位已经初步打开局面。根据BCI的数据,发布1个月全网预约量破百万,销量在折叠屏品类占比超过20%。Find X5系列凭借自研芯片,将有机会进一步打开高端市场。

image.png
2.产业竞争点的变化。很长一段时间,国产手机厂商们对于手机创新都是亦步亦趋、跟风头部品牌,从曲面屏到AI摄影莫不如是,而随着摩尔定律触达天花板,想要拉开差距必须提升底层软硬件的研发能力,提高核心技术。OPPO多年研发投入已进入了收获期,其发明授权专利已经连续 4 年排名全国企业前三,PCT 国际专利申请连续 3 年位列全球申请人排行榜前十,这些积累也在不断转化成创新成果,成为企业竞争的原料和养分。

3.产业生态的良性发展。智能手机作为移动终端设备的一大品类,也是最接近消费者需求的入口,直接影响到芯片产业和开发生态的培育。对于中国半导体行业来说,面向终端市场,重点关注视频超分、游戏高清化等领域的需求,提升移动芯片设计能力,更容易实现从研发到商用的良性循环,进而一步步茁壮。对于开发者来说,自研、强大、开放的AI芯片,也成为应用创新的基座,能够更好地释放想象力。

不难看出,手机行业已经走过了草莽阶段,产业成熟期不是没有创新,而是创新变得困难了,门槛更高了,解决技术深水区甚至无人区的问题,才能许用户和行业一个未来。OPPO作为一个冲锋者,其功可钦。
image.png
归根结底,OPPO自研芯片,其实是一个自问自答:为什么要坚持走最困难的路?答案是,搭建起从芯片到产品再到生态的闭环,建立没有短板的能力壁垒,才能够越过沟壑,抵达高端市场的新大陆。

中国人崇尚的境界,是会当凌绝顶,一览众山小。芯片是手机的制高点,更是中国厂商的时代舞台,登上巅峰,才能看到更远处的风景。

一颗小至纳米级的芯片,是人类历史上空间最小、战况极其残酷的战场。AI带来了一系列的风云变幻,手机影像正在写出更精彩的故事,而幸运的是,扛旗者必有中国。

推荐阅读
关注数
6399
内容数
1554
写让你脑洞大开且能看懂的人工智能、流媒体、海外科技
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息