现代嵌入式处理器，例如NXP的i.MX 8M Plus系列处理器，配备了图像信号处理器（ISP）。它们通常被称为图像处理器或图像处理单元（IPU），专为快速高效地处理摄像头数据而设计。
要使ISP单元发挥最大作用，需要使摄像头传过来的图像数据的预处理与目标应用以及所采用的光学系统相适配。
作为NXP的白金合作伙伴之一，PHYTEC是首批为其i.MX 8M Plus客户提供ISP适配服务的公司之一。在本文中，我们将向您介绍这一服务可能给您带来的优势，以及如何利用它来快速高效地定制适合自己的视觉系统。
采用 i.MX 8M Plus 处理器进行嵌入式视觉开发
i.MX 8M Plus处理器的两个图像处理器（ISP）可以执行广泛的预处理任务，包括从Bayer转换（也称为“去马赛克”）到根据单芯片彩色传感器的数据为每个像素计算完整的RGB颜色信息（参见图1），再到黑电平校准、降噪、曝光控制、白平衡和色彩校准等。
图1：原始传感器数据的Bayer转换
ISP还可以用于纠正有传感器缺陷像素和光学误差，比如晕影和畸变。ISP的启动使得嵌入式设计可以兼顾高效和低成本：处理器的功能得到了更好的的利用，同时ISP中的图像处理也与主应用有最佳的适配。
ISP，可以释放出主处理器的处理性能更多地用于应用处理，无需通过软件在处理器中处理此任务。此外，系统开发商还可以使用更小、更低成本的无内置ISP芯片的嵌入式摄像头--独立的ISP通常更贵，将其集成到设计中往往更有难度。
ISP预处理算法的选择
对原始图像数据的做哪些预处理需要根据嵌入式视觉系统的应用而定：人或物体计数与识别、读取条码、分析动作或测量物体等应用对数据的预处理有着不同的要求。
例如，镜头畸变校正可能会对空间精度方面的产生影响，反而会使尺寸测量应用的实现变得困难；而如果启用了本意使色彩更“自然”而进行的自动白平衡算法，那么对于颜色测量类应用或光学检测系统中的颜色偏差检测应用来说也会产生不良的影响。
相反地，镜头畸变可能会对AI系统带来很大的困难；在这种应用中，则建议使用ISP进行畸变修正。
PHYTEC提供ISP适配的专业技术和工具
为了确保预处理能够最佳地适配应用，并且结果不失真，开发人员需要了解并在必要时调整处理数据的算法。为此，他们需要相应的专业知识以对处理器上ISP进行编程。
PHYTEC通过提前的适配工作简化了这个过程：所有处理器板和系统级模块都配备了由PHYTEC开发的Linux操作系统，其中均预先适配了对ISP和摄像头的支持。
开发人员可以通过通用的Video for Linux接口 (V4L2) 访问和控制摄像头，无需再担心传感器与图像处理器的交互。对于phyCAM摄像头模块的基础校准已经在板级支持软件包（BSP）中实施。
图2 去畸变：传感器原始图像（左）和ISP校正图像（右）
ISP适配服务
此外，在使用i.MX8M Plus处理器时，PHYTEC为其项目客户提供ISP预处理适配服务，以适应特定应用的光学系统，包括摄像头、镜头和其他应用参数。
这使得诸如镜头畸变校正（见图2）、晕影、降噪、颜色校准和白平衡等功能能够最佳地适配特定应用。对i.MX8M Plus的ISP进行校准需要除了相应的专业知识外，还需要一些特殊的工具。
作为嵌入式系统的早期开发者和制造商之一以及NXP的白金合作伙伴，PHYTEC拥有访问i.MX8M Plus的ISP适配所需的必要工具。
我们以固定的价格提供基本的摄像头和镜头适配服务-这项服务是基于PHYTEC 的25年来在众多项目中的成功经验，在PHYTEC的光学测量实验室完成的。
完美匹配的光学单元 – 以固定价格提供支持
ISP适配服务使得所有项目都可以于较低成本对ISP的进行适配 - 不再局限于高用量和高开发预算的项目。客户以固定价格可以PHYTEC获得根据特定的相机-镜头组合而制定的基础校准配置，以及镜头畸变和晕影的校正服务。
除此以外，还可以选择进行亮度、对比度、饱和度和色调的调校，以满足项目的具体要求。除了i.MX8M Plus系列，我们还将为其他具有集成ISP的处理器提供此服务。
使用PHYTEC套件快速启动开发
PHYTEC提供的ISP适配服务是为快速高效的产品开发提供的众多前期服务之一。我们的前期服务包还包括：开发套件，如phyBOARD-Pollux Imaging Kit，其中包含了必要的组件，包括摄像头和镜头，相应的操作系统，用于全面评估和开发产品原型。这使客户可以直接进入开发，迅速实现量产。
PHYTEC还为NXP i.MX8系列处理器及其他处理器提供相应的开发套件。无论是从项目预研到项目开发，从原型到量产，我们在整个产品生命周期提供完整的支持。
作者介绍
Martin Klahr
Martin Klahr多年来一直担任PHYTEC的嵌入式视觉部门负责人。他总是可以对复杂的主题做到清晰的解析。我们很高兴他加入我们的Blog编辑团队，为他的专业领域的主题提供支持。
本文为PHYTEC技术文章，更多相关技术可关注PHYTEC的直播《Arm TrustZone 在 NXP i.MX 8M Plus 平台的应用方案》。
