27

脑极体 · 2021年06月04日

数字中国的视觉进阶:ISP的来处与归途

每次不知道该聊点什么的时候,我就会去一些网站和社区溜达找找灵感,海外如WIRED、MIT News、mashable,国内如极术社区,都是我的大脑“充电站”。

这个周一,被选题按在桌前摩擦的我又去极术社区里逡巡了,恰好就让我发现了一个极为有趣的事情:一个名为《安谋中国“玲珑”ISP处理器概览》分享,在极术社区引起了开发者的热议,各种问题在帖子下面建起了高楼。

无独有偶,近两年在产业界,我们也能发现ISP芯片变得越来越有存在感。苹果、三星、华为等已经在产品中应用了自研ISP模组,OV小米等手机厂商在冲击高端化进程中也加大了自研ISP领域发力。

1.jpg
ISP这个名词可能有点陌生,但早已渗透在绝大多数普通人的日常生活。简单来说,相机在采集图像时,会遇到许多影响图像质量的因素,噪音、色差、明暗等变化都会导致设备无法还原出真实的画面(所以不要再怪苹果前置摄像头把你拍丑了)。而ISP(Image Signal Processing) 图像信号处理的作用,就是通过降噪、自动曝光、自动对焦、自动白平衡、图像锐化等操作,把传感器采集到的数据转换成接近真实场景的数字流。

不难发现,ISP最为大众所感知的应用,就是手机的摄影摄像功能了。那么,在智能手机在存量市场“内卷”的当下,摄影摄像似乎已经停留在高水平竞争很久了,这股ISP热潮究竟是从何而来?为什么会吸引如此多的开发者及厂商?又是如何影响中国智能化进程的?

这是一个十分值得讨论的话题,也将在接下来深度影响你我的数字生活。

缘起:重新审视ISP

佛教有云,一切有为法,皆待缘而起。ISP为各大芯片厂商,尤其是中国企业所重视,并不是没有原因的。佛陀将缘起归结于老死忧愁等苦难,ISP的“走红”也与现实挑战有着直接关联。

第一重挑战来自国际。在全球半导体贸易的不确定性当中,传统的芯片架构和供应链都可能影响中国智能产业的发展,因此,更自主可控的方案如ARM架构就取代传统芯片方案成为手机、电脑、汽车等芯片的主流,而所谓处理器核心模组之一的ISP芯片,自然也面临着新的市场需求和技术创新。
2.jpg

第二重挑战来自国内。随着AI、5G、云计算等技术的成熟,越来越多的行业场景开始应用上了计算机视觉技术,摄像头变得无处不在。尤其是数字化建设如火如荼的中国,摄像头、视觉感知等应用爆发式增长。比如在汽车自动驾驶辅助系统(ADAS) 、工业智能制造、文档扫描、人脸识别、智慧监控等等多种社会服务中,都对图像质量提出了更高的要求,数字中国的发展,推动着ISP芯片以更低的功耗成本实现更高的分辨率。

第三重挑战来自用户。当然,智能手机的图像质量是大众最常接触、最具感知力的应用了。高速增长的影视技术,清晰度从720p飞速发展到4K乃至8K时代,直播、短视频、虚拟现实、AR等新应用的出现,也对ISP的性能、功耗、延迟等都提出了挑战。对于智能手机厂商来说,在媲美单反的基础上,打造出差异化的影像能力,已经成为一道不容回避的命题。

天时、地利、人和,三者皆备,ISP芯片自然也越来越受到开发者和厂商们的重视。

当下:数字中国需要怎样的“眼睛”?

既然ISP需求增长的背景已经明确,那么更符合当下产业及消费者需求的ISP芯片,其特征也就呼之欲出了:

更高的可控度。不仅要在供应链层面保证各个厂商应对不确定性的需求,还要包含差异化图像能力的软硬件基础,从而最大程度降低下游厂商的产品研发风险与成本。比如安谋中国就面向中国市场,以ARM架构为基础自研了“玲珑”多媒体产品线,来赋能本土自主创新。

更高的性能。通过更先进的技术,满足工业、自动驾驶、安全监控等对图像画质高精度的需求,比以往更加强大和精确。以自动驾驶为例,就需要捕捉非常大的视觉动态范围,并且比人眼更精准地识别暗处和明亮的图像细节,以保证行车及路人的安全。

3.jpg
更低的功耗。无论产业应用还是个人移动终端,都对功耗比较敏感,耗电、发热等问题都可能影响整体部署成本和用户体验,这就要求ISP的创新不能以能效为代价,以更好地满足数字化转型中的现实需要。

如此看下来,ISP的技术创新难度并不简单,需要技术人员一点一滴地突破,难怪能引发不小的专业讨论。

未来:ISP的技术展望

纵观极术社区中围绕玲珑ISP展开的讨论,广大开发者比较关心的话题,大多围绕在3A算法是否在ISP里运算,哪些场景下需要单独的ISP芯片,机器学习对ISP芯片的影响等等。

从中,我们也可以看到ISP芯片未来几个比较明确的创新方向。

一是3A算法的不断升级。

想要提升成像质量,3A算法即自动对焦(AF)、自动曝光(AE)和自动白平衡(AWB),起到了十分重要的作用。比如说,当传感器将图像信息传递给ISP芯片时,自动判断是否对明亮或暗处的像素采取行动,能够让计算机视觉系统做出更准确的判断。

以安谋中国本土团队自主研发的“玲珑”i3/i5 ISP 处理器为例,就通过3次曝光HDR,将一个场景的长时间、中时间、短时间曝光合成一帧,从而在逆光等宽动态情况下,对明暗区域都能够很好地记录,从而在宽动态范围、低光降噪等方面获得不错的表现。说人话就是,逆光拍摄相机也能看清你的美。
4.jpg

第二个技术趋势,是从集成向外置演进。传统ISP芯片被集成在处理器内,随着高像素、高画质的需求出现,CIS传感器的尺寸也变得越大,外置独立ISP在功耗上更具优势。不过,相比内置方案,成本更高、开发周期也较长,这就需要芯片厂商进行取舍。

第三个技术趋势,是ISP与AI的结合。将传感器信息转化为图像是一个复杂的过程,ISP往往有成百上千个不同的参数进行调整。而前面提到,视觉感知在各行各业中的应用越来越广泛,不同的镜头和传感器具有不同的特性,这时候为特定相机系统进行优化调整、开发针对性的芯片产品,就变成了一项极具挑战性的任务。所以将AI处理器的智慧分析能力与ISP的信号处理能力,能够达成更强大的成像效果。

由此则产生了第四个技术趋势,那就是定制化支持。如前所说,,ISP可应用场景越来越多,不同的场景对应着不同的能力需求,使得通用性的ISP难以全面通吃,这就要求IP开发厂商能够与服务垂直行业的开发者保持紧密沟通与及时响应,来打造更具灵活性、定制化的产品。
5.jpg

今天,中国正在以举世瞩目的速度进入到智能时代,被数字化的物理世界不仅仅是消费者手机中的一张张图片,还是各个行业智能机器“眼中”不可或缺的数字养料,滋养着整个中国的智慧水平。

从这个角度看,ISP芯片已经成为中国智能产业不可忽视、不容错过的一张底牌,等待着更多有识之士去探索和解密。

推荐阅读
关注数
6411
内容数
1572
写让你脑洞大开且能看懂的人工智能、流媒体、海外科技
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息