ISP（Image Signal Processor）我介绍了很多了，大家可以先看下面的文章，了解基本概念：
图像信号处理器和 Infinite-ISP
ISP从图像传感器获取 RAW 像素，并将其转换为与人类对所捕获场景的感知相匹配的图像。ISP 是每个摄像头和视觉系统中必不可少的基本硬件处理器。
然而，大多数厂家的 ISP 实现细节并不公开，都是给一堆函数自己调用调试。因为厂商将 ISP 算法视为保持市场竞争力的独特秘诀。虽然之前介绍了很多开源ISP项目（优秀的 Verilog/FPGA开源项目介绍（二十六）- ISP (图像信号处理)），这些开源ISP仅仅是实验和探索，与商用的ISP相比，它们在性能、图像质量和实用性方面还有所欠缺。
图：ISP 中的相机成像算法
上图来源：Karaimer and Brown，ECCV2016:https://karaimer.github.io/ca...
图：SoC 中ISP成像原理的顶层框图
上图来源：Lluis Gomez：https://hdl.handle.net/2134/1...
Infinite-ISP 是成像和视觉社区的变革者。Infinite-ISP 的所有组件都开源，并记录整个开发过程，将浮点 ISP 管道引入其硬件实现。揭示 ISP 的内部工作原理，加速开发并鼓励专业人士、研究人员和开源硬件爱好者为整个成像和视觉社区做出贡献。
Infinite-ISP 介绍
Infinite-ISP 是一款开源硬件图像信号处理器开发套件，配有算法开发浮点模型、定点参考模型（Golden Model）、RTL ISP、FPGA / ASIC 实现和 ISP 调优工具等应用程序。开源 ISP 设计包提供具有竞争力的图像质量和性能，堪比现代SoC中ISP。
图：Infinite-ISP硬件ISP开发套件
验证 Infinite-ISP 硬件图像信号处理器 (RTL ISP)。RTL ISP 经过 FPGA 验证，具有以下规格：
- 适用于拜耳图像传感器的 10 位 4 百万像素Sensor
- 最大帧尺寸：2592 x 1536
- 最大帧率：30 fps
- 像素吞吐量：高达 125 Mpix/s（可以增加帧大小，但会降低 fps）
- 可选符合 ITU-R 标准的 YCbCr 输出：BT.601或BT.709
- 可选 RGB、YCbCr444、YCbCr422 输出
- 2A 统计引擎 (AWB、AE)
- 多级降噪（Bayer、亮度）
- 可配置处理管道，支持 ISP 调优工具
演示
为了演示Infinite-ISP使用流程，我们直接使用开源的二进制文件，目前支持的传感器包括：
- Onsemi AR1335
- Omnivision OV5647
- Sony IMX219
本次选用 Onsemi AR1335 图像传感器进行演示。
按照下图搭建演示环境：
1、烧写镜像
首先，去下面链接下载镜像：
https://github.com/10x-Engine...
本次演示使用的FPGA开发板为：KV260
a. 将电脑的 IP 地址更改为静态 IP 192.168.0.X，其中 X 可以是 2 到 254 之间的任意数字（111 除外）。网络掩码和网关应分别为 255.255.255.0 和 192.168.0.1。
b. 将以太网电缆与 Kria KV260 套件和电脑连接起来。
c. 将电源线插入 Kria KV260 套件的电源插孔。
d. 电路板通电后，一只手按住 FWUEN 按钮，另一只手按住 FWUEN 按钮的同时按下并释放 RESET 按钮，然后在释放 RESET 按钮 5-10 秒后释放 FWUEN 按钮。
e. 在电脑上打开浏览器，在地址栏中输入 192.168.0.111，如下所示：
将打开套件的镜像恢复工具（如下所示），如果没有出现，请重复步骤 d。
f.然后选择相应的镜像进行烧写。
2、运行 Infinite-ISP
将相关二进制文件刷入 FPGA 后，将与二进制文件对应的传感器连接到开发板上。
按照下图连接好线缆：
上电后，Infinite-ISP 的输出将通过 HDMI 显示到显示器上。
为了与 Infinite-ISP 实时交互， Infinite-ISP 还提供了一个串口的配置菜单，用户可以通过该菜单调整 Infinite-ISP、实时更改图像传感器的配置（例如曝光和增益设置），还可以在 SD 卡中捕获 RAW 和处理后的帧图像。
浏览 Infinite-ISP 交互菜单
通过串口连接到串口工具上（推荐PUTTY），波特率设置为115200。
连接到串口后，FPGA将打印ISP中模块的中断数、接收图像的高度、宽度和类型 (di) ，如下所示：
按任意键将出现 Infinite-ISP 配置菜单，如下所示：
Infinite-ISP 配置菜单包含三个选项。可以更改传感器配置（例如曝光时间和模拟/数字增益）、启动连续帧的突发捕获、更改 ISP 参数，甚至调整传感器模块的焦点。接下俩重点讲解 ISP 参数。其他相关测试自行操作。
配置ISP参数：
通过“Configure ISP Parameters（配置 ISP 参数）”菜单选项可以配置多个 ISP 模块。ISP 配置菜单如下所示：
输入要配置的模块编号。输入有效编号后将进入模块特定的配置菜单，其中将显示当前参数值，并提示选择要更改/配置的参数。
选择要配置的参数后，将被引导至参数特定的菜单，其中将显示该参数的当前值并提示输入新值。
输入新值后将被引导回模块特定的配置菜单，您这时候将看到更改的参数已经生效。
按“E”返回 ISP 配置菜单。
参考链接
https://karaimer.github.io/ca...
https://www.hackster.io/muham...
https://hdl.handle.net/2134/1... Karaimer and Brown，ECCV2016:
总结
Infinite-ISP总体实现的ISP非常完善，下面是其模块分类：
整个项目不是干巴巴的代码，而是整体偏向商业SoC应用，包括上位机（本文未展示），适合学习算法和了解ISP，在此基础上甚至可以商用，开源协议Apache 2.0（参考Android系统）。
如果大家比较感兴趣，后面再出一个如何使用 Vivado 从源代码构建 Infinite-ISP FPGA 项目的教程。
项目很完整，大家可以从GitHub上对项目提出自己的意见和建议~
开源链接
https://github.com/10x-Engine...
https://github.com/10x-Engine...
END
作者：碎碎思
来源：OpenFPGA
相关文章推荐
- FPGA/ASIC在AI推理加速中的研究
- FPGA实现串口升级及MultiBoot（十一)QuickBoot介绍
- FPGA设计流程与开发方法总结
- DDR 学习时间 (Part B - 7)：Gear-dwon Mode
- DDR 学习时间 (Part A - 6)：DDR4 板级设计和信号完整性验证面临的挑战
更多FPGA干货请关注FPGA的逻辑技术专栏。欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。
