集微网 · 2021年03月31日

【芯视野】小米澎湃ISP芯片面世:披荆斩棘自研之路的得与失

(集微网报道)去年年中,曾多次传出小米将会推出澎湃S2芯片,不过这一消息没被官方证实,而曝光的S2图片也只是一颗旧芯片。

面对外界纷纷传出澎湃芯片是否后继无人或者难产的疑问,去年8月小米创始人雷军在个人微博上确认,澎湃芯片没有放弃,还在继续。

雷军表示,小米从2014年开始做澎湃芯片,2017年正式发布了第一代产品S1,而此后的新产品研发确实遇到了巨大的困难。不过雷军仍然向米粉喊话:“芯片研发计划仍然继续,有了新进展再告诉大家。”

image

澎湃自S1芯片后的第二款推出市面的芯片澎湃C1终于来临,小米也信守承诺得以让澎湃芯片的计划进行。等待了四年,澎湃芯片的后继者出现,可是有别于澎湃S1属于是手机SoC芯片,澎湃C1属于图像拍照处理芯片。

显然,在澎湃发展遭遇技术、市场的困难“高墙”之后,单点突破主攻影像拍摄功能的ISP图像处理芯片领域会是“倔强”的小米思考后的自研芯片之路的新方向,从而以后澎湃或许有更多的“小”芯片出现。

澎湃之难在哪里?

小米从2014年开始立项开始自研芯片,花了仅三年的时间,便在2017年发布第一款自研澎湃S1芯片。

澎湃S1处理器拥有八核心64位,主频高达2.2GHz,其为4个主频达2.2GHz的A53核心+四个主频为1.4GHz的A53核心,使用的是28nm HPC工艺制程。这是小米真正意义上的第一款自研量产芯片,定位中高端。

其率先搭载在2017年初发布的小米5C,可惜其采用了当时较老的28nm工艺,在功耗方面控制不太理想,卡顿也比较明显,体验并不友好,可以说是铩羽而归。

image

此后一两年时间里面,外界对于小米何时推出澎湃第二款自研芯片表示了关切,不过雷军却坦言澎湃计划遇到了巨大的困难。

有芯片集成电路研发人员对澎湃芯片表示了自己的看法,他认为澎湃S1芯片的推出证明了小米还是具有相当的资金、技术、人才来实行自研芯片项目,不过对于后续芯片产品的规划、持续的资金投入、相关IP模块的专利获取是准备不足的。

从资金角度来看,芯片研发无疑是一个十分烧钱的工程,它所需要的资金投入可能是远超我们想像的。小米澎湃S1芯片成功发布,至少从技术上来说是过关的,即使技术或者性能不如当时的几大主流手机芯片大厂,可是至少能够用在中低端的手机上。

“芯片要想越做越好需要一个良性的循环,芯片用在终端上,产品带来盈利,未来才能有更多资金投入到芯片研发上,而有了更多资金,后续芯片的性能才能越做越好。”该名芯片研发人员告诉记者。

据传澎湃S2芯片经历了几次的流片失败,放在当下的芯片验证仿真机制,多次流片不点亮的情况可能不太会发生,不过我们可以肯定的便是确实澎湃后续芯片的研发是遇到技术难题,而每次流片的投入资金是以亿单位计算的。

小米企业虽然已经具有一定的规模,但是其始终不像高通、联发科、苹果这类芯片科技巨头拥有雄厚的技术和资金抗风险能力。后者可能几百亿的资金投进去,流片失败还能撑着,而小米本来就是走轻资产模式,资金投入的无底洞是其不能承受的。

从技术上来看,澎湃S1芯片传闻实际是小米从是大唐联芯购买的芯片架构,采用联芯的老设计,好处便是能够快速推进芯片的面世,坏处便是性能水平要落后当时主流的水平。此外因为采用了比较老旧的28nm制程,芯片技术设计是没有大的问题,可是用在手机终端上体验比较一般。

此外,我们不能忽视堵在小米面前的巨大专利墙,虽然澎湃的设计和性能部分是没有问题,其可以通过向ARM采购架构IP即可,但是基带部分的专利才是困难所在。强如苹果就基带部分也需要向高通缴纳专利费用,短期内绕不过去,而小米显然在基带核心专利方面是没有积累的。即使小米不穷,可是在这块专利墙面前,它也显得足够渺小。

华为方面靠着多年的累计专利交叉授权才让专利费降低,而小米需要从外围芯片入手,投资入股芯片公司才能获得足够的专利授权,降低专利墙的费用,而这一切是需要时间孵化的。

不能否认,小米还是错估了芯片研发的难度。澎湃S1芯片的成功推出让小米尝到了涉足了底层技术领域的甜头,让市场和消费者提高对小米品牌的认知,可是随后的澎湃芯片产品却遇到了技术、专利、资金的壁垒,这才令小米重新去思考自研芯片项目的定位和新方向。

为什么是ISP芯片?

痛定思痛后的小米开始考虑澎湃芯片之路,2019年4月,小米旗下的全资子公司松果电子团队(澎湃芯片开发团队)进行重组,当中部分团队分拆组建新公司南京大鱼半导体。经此调整后,南京大鱼半导体将专注于半导体领域的AI和IoT芯片与解决方案的技术研发,而松果将继续专注手机SoC芯片和AI芯片研发。

外界对于小米的澎湃项目仍然十分关注,遵循客观规律,不少行业人士都建议小米目前积累不太合适强行上马做手机SoC,其可以尝试做一些外围的芯片,如ISP、IoT、AI芯片等。

实际一颗手机SoC芯片包含BP(基带芯片)、CUP(通用处理器)、GPU(图形处理器)、DSP(数字信号处理器)、ISP(图像信号处理器)等重要的模块,这些模块我们都可以称之为IP。这次小米高调发布的“小”芯片便是属于以往集成在SoC上的ISP模块,单独独立出来的芯片产品。

ISP芯片目前广泛应用在我们每个人的智能手机当中,主要是对图像传感器采集的信号进行处理,最终得出经过线性纠正、噪点去除等处理后的结果,对画面做不同程序的增强和改善,直接影响画质的优劣。简单来说,拍照的时候CMOS图像传感器的光信号转变为电信号,ISP负责对应数据的降噪、锐化等处理,然后生成图像信息。

以现在的智能手机为例,目前各家智能手机厂商并不直接研发摄像头模组,都是采购欧菲光,索尼等第三方厂商的摄像头模组,有时候不同的智能手机用了同一个厂家、同一个型号的摄像头,但是照片呈现出来的质量仍然有非常明显的不同,这很大程度上就是因为各家厂商使用的ISP的好坏导致的。对于大家比较熟悉的智能手机日常拍照的场景,手机芯片内置的ISP会进行自动人脸对焦,自动白平衡,自动色调映射等一系列功能,都会直接影响到最终照片质量。

image

小米发布会上对于澎湃C1芯片的着墨并不多,也只是简单带过。其首先会搭载在小米MIX Fold上,配合上全球首发的液态镜头,构成前沿强大的拍照硬件水平。

雷军在发布会上表示,澎湃C1芯片采用自研ISP+自研算法,可以帮助手机进行更精细、更先进的3A处理。这个3A指的是的AF对焦、AWB白平衡及AE自动曝光,拥有双滤波器的澎湃C1可以实现高低频信号并行处理,信号处理效率提升100%,3A表现大幅提升。

或许有人感叹,等了这么久,小米自研的澎湃第二款自研芯片不是手机SoC,而是不怎么起眼的独立图像信号处理器ISP芯片,多少有一点失望。不过我们也不能小看这枚芯片,强如华为海思从开始之初也是从ISP自研架构做起。

2013年华为收购了德仪OMAP SoC在法国的业务,并以此为基础成立了图像研究中心。华为投入9800万美金(6亿人民币),组建300人的顶尖专家团队,历时3年研发出图像处理芯片(ISP)。从麒麟950开始,海思的SoC芯片中开始集成自研的ISP模块。自研的ISP模块使得华为可以从底层来优化照片的处理,呈现出漂亮的样张,事实也证明从P9开始华为已经跻身全球手机拍照的第一阵营。

海思的自主架构是从ISP开始的,而不是CPU或GPU这样的处理单元,也是一个很好的突破口。小米澎湃遵循华为海思这一产品开发方向,不但技术难度相对较低,投入资金要比手机SoC相对少,而且还能与手机拍照卖点相结合,解决后续芯片产品应用获利的关键,形成良好的循环。

当然从产品层面来看,小米自研的澎湃C1芯片是否在性能上超越了目前高通骁龙888、天玑1200等芯片的ISP模块,这个还需要打上问号。不过从目前小米11在拍照上与高通骁龙888的ISP的调教磨合程度上,尚欠缺火候。

对于小米MIX Fold这款探索未来科技的产品上,其配备独立的ISP能够在原有芯片的功能或者性能的限制下作出更多的突破,也是在产品功能和市场营销打出差异化的卖点关键。

有一名研发图像处理的技术人员向记者表示:“外置独立ISP的优点是理论能提供更优秀的图像质量,此外也能够选择更合适的器件做更丰富的功能规划,最后能够实现产品差异化。”

目前大部分手机产品均是利用手机SoC上内置的ISP做图像处理,因此基于同样SoC生产出来的手机,其ISP的性能也是一样的,可供调教的条件也是固定的,这样就不利于实现产品的差异化。而如果选择外置ISP,那么即使搭载同一颗SoC芯片,可以搭配不同型号的 ISP,可以实现产品的差异化,为给用户提供更丰富和优质的产品。

当然外置独立ISP相比较内置ISP,其成本会较高,而且外置ISP要进行额外的原理图设计和LAYOUT,需要使用额外的元器件。此外开发周期略长也是其缺点之一,厂商要如何选择便需要根据自己产品定位来进行取舍。

诚然,作为小米第二款澎湃自研芯片,选择在ISP图像处理领域发力是有小米方面市场、技术方面的考量。一方面ISP芯片开发试错成本相对SoC小,能够进行试水软硬结合,另一方面是市场差异化的需求,也是拉高产品力和品牌形象的好方法。

自研芯片需要一步一脚印

经历了澎湃自研芯片项目的停滞后,小米或许出现了茫然,可是“倔强”后思考再出发,小米选择了一条进行单点突破的道路。

一般来说,按自己需求设计的ISP和采购直接采用的ISP还是会有所不同,最终小米ISP的成像效果如何,是否要比其他直接采用内置ISP的产品拍照效果要好,仍然需要拉出来对比一番。

小米似乎已经找准了影像体系这一突破点,垂直发力,着力打造好这个领域是有必要性的。以往大部分的产品都是依靠外部硬件来进行打造,虽然说算法软件是自家的,但是在目前越来越强调软硬一体的今天,芯片仍然是关键。

任何公司开发手机处理器都不可能一蹴而就,包括苹果、华为、三星,也包括中兴以及现在的小米,苹果从iphone一代到3GS或iPhone4才真正获得市场认可,海思麒麟也是经过多款迭代之后才成为华为手机的创新驱动力,这一点即使三星投入多年也没有做到。小米澎湃想短期内取得突破既不现实也没有可能,澎湃S1和后续新品的困难令小米感受到芯片研发的困难。

手机公司之所以投入处理器一方面为了追求手机个性化或差异化,另一方面销量达到一定规模可以实现成本最优化。手机公司做处理器最终肯定要面向中高端,中低端处理器一般都使用比较成熟的技术,大家比拼的是成本,这方面手机品牌自研处理器很难与第三方厂商比如高通、联发科或展讯相比,特别在市场竞争如此激烈的环境下。

因此在目前小米技术积累不足的情况下,选择自研ISP芯片,强化自身旗舰产品的影像性能与造就差异化和拔高的品牌力是明智之举。

自研芯片这条路从来都不是一件容易的事情,其涉及到资金、技术、市场等各个方面,毕竟,“罗马不是一天建成的。”华为麒麟芯片也经历了十几年才有今天的市场地位,而小米作为芯片新人,澎湃项目更需要一步一脚印去实现。

image

正如雷军发布会上提到:“澎湃C1芯片是小米自研芯片道路的一小步,也是小米影像实力的里程碑,更是小米对于未来科技的热爱。”

祝福小米,也期望未来有更多企业的自研芯片面世,令中国科技产业的“底气”更充足。(校对/木棉)

推荐阅读
关注数
4361
内容数
629
集微网隆重推出“芯视野”专题,未来将客观反映行业高管对于热点事件的观点及分析报道。
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息