FPGA 多路视频处理：图像缩放+视频拼接显示，HDMI采集，提供2套工程源码和技术支持

1、前言

没玩过图像缩放和视频拼接都不好意思说自己玩儿过FPGA，这是CSDN某大佬说过的一句话，鄙人深信不疑。。。本文使用Xilinx的Kintex7 FPGA的图像缩放多路视频拼接方案，视频源有两种，分别对应开发者手里有没有摄像头的情况，一种是使用板载的HDMI输入接口(笔记本电脑模拟HDMI输入)，使用IT6802解码芯片将TMDS的差分HDMI视频解码为24位的RGB视频数据供FPGA使用；如果你的FPGA开发板没有HDMI输入接口，则可使用代码内部生成的动态彩条模拟摄像头视频；视频源的选择通过代码顶层的define宏定义进行选择，上电默认使用HDMI输入作为视频源；提供2套vivado2019.1版本的工程源码，2套工程源码的不同点在于图像缩放后的分辨率不同和视频拼接的方式不同，工程1将输入的1920x1080分辨率视频通过图像缩放模块缩小到960x1080，然后将视频复制两份，用以模拟两路视频输入，做两路视频拼接后在1920x1080分辨率的输出视频上做2分屏拼接显示；工程2将输入的1920x1080分辨率视频通过图像缩放模块缩小到960x480，然后将视频复制4份，用以模拟4路视频输入，做4路视频拼接后在1920x1080分辨率的输出视频上做4分屏拼接显示；FPGA缩放后的视频，用我常用的FDMA套路进行图像缓存，缓存的介质为DDR3，然后读出视频，生成标准的1920x1080分辨率的VGA时序，再用纯verilog实现的RGB转HDMI模块将视频输出到显示器显示；

本博客详细描述了FPGA 图像缩放多路视频拼接的设计方案，工程代码可综合编译上板调试，可直接项目移植，适用于在校学生、研究生项目开发，也适用于在职工程师做学习提升，可应用于医疗、军工等行业的高速接口或图像处理领域；
提供完整的、跑通的工程源码和技术支持；
工程源码和技术支持的获取方式放在了文章末尾，请耐心看到最后；

版本更新说明

此版本为第2版，根据读者的建议，对第1版工程做了如下改进和更新：
1：增加了输入视频静态彩条的选择，有的读者说他的FPGA开发板没有HDMI输入接口，导致在移植过程中困难很大，基于此，增加了静态彩条，它由FPGA内部产生，不需要外接摄像头就可以使用，使用方法在后文有说明；
2：优化了FDMA，之前的FDMA内AXI4的数据读写突发长度为256，导致在低端FPGA上带宽不够，从而图像质量不佳，基于此，将FDMA内AXI4的数据读写突发长度改为128；
3：优化了HDMI输出模块，之前用的自定义IP，有读者说IP无法更新，虽能正常使用，但看源码不方便，基于此，将HDMI输出模块改为纯verilog实现的，直接了当；

免责声明

本工程及其源码即有自己写的一部分，也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等)，若大佬们觉得有所冒犯，请私信批评教育；基于此，本工程及其源码仅限于读者或粉丝个人学习和研究，禁止用于商业用途，若由于读者或粉丝自身原因用于商业用途所导致的法律问题，与本博客及博主无关，请谨慎使用。。。

2、相关方案推荐

本工程是图像缩放和视频拼接的整合版，在此之前，我分别推出过FPGA图像缩放方案和FPGA视频拼接方案，所以推荐如下：

FPGA图像缩放方案推荐

该方案使用纯verilog代码实现任意尺寸图像缩放，详细请参考我之前的博客，博客链接如下：
直接点击前往

FPGA视频拼接方案推荐

该方案使用纯verilog代码实现多路视频拼接，详细请参考我之前的博客，博客链接如下：
4路视频拼接方案参考博客链接如下：直接点击前往
8路视频拼接方案参考博客链接如下：直接点击前往
16路视频拼接方案参考博客链接如下：直接点击前往

3、设计思路框架

视频源有两种，分别对应开发者手里有没有摄像头的情况，一种是使用板载的HDMI输入接口(笔记本电脑模拟HDMI输入)，使用IT6802解码芯片将TMDS的差分HDMI视频解码为24位的RGB视频数据供FPGA使用；如果你的FPGA开发板没有HDMI输入接口，则可使用代码内部生成的动态彩条模拟摄像头视频；视频源的选择通过代码顶层的`define宏定义进行选择，上电默认使用HDMI输入作为视频源；提供2套vivado2019.1版本的工程源码，2套工程源码的不同点在于图像缩放后的分辨率不同和视频拼接的方式不同，工程1将输入的1920x1080分辨率视频通过图像缩放模块缩小到960x1080，然后将视频复制两份，用以模拟两路视频输入，做两路视频拼接后在1920x1080分辨率的输出视频上做2分屏拼接显示；工程2将输入的1920x1080分辨率视频通过图像缩放模块缩小到960x480，然后将视频复制4份，用以模拟4路视频输入，做4路视频拼接后在1920x1080分辨率的输出视频上做4分屏拼接显示；FPGA缩放后的视频，用我常用的FDMA套路进行图像缓存，缓存的介质为DDR3，然后读出视频，生成标准的1920x1080分辨率的VGA时序，再用纯verilog实现的RGB转HDMI模块将视频输出到显示器显示；
工程1设计框图如下：
在这里插入图片描述
工程2设计框图如下：

视频源选择

视频源有两种，分别对应开发者手里有没有摄像头的情况，一种是使用板载的HDMI输入接口(笔记本电脑模拟HDMI输入)，使用IT6802解码芯片将TMDS的差分HDMI视频解码为24位的RGB视频数据供FPGA使用；如果你的FPGA开发板没有HDMI输入接口，则可使用代码内部生成的动态彩条模拟摄像头视频；视频源的选择通过代码顶层的宏定义进行选择，上电默认使用HDMI输入作为视频源；视频源的选择通过代码顶层的`define宏定义进行；如下：
在这里插入图片描述
视频源选择逻辑代码部分如下：

选择逻辑如下：
当(注释) define USE_SENSOR时，输入源视频是动态彩条；
当(不注释) define USE_SENSOR时，输入源视频是HDMI；

IT6802解码芯片配置及采集

IT6802解码芯片需要i2c配置才能使用，关于IT6802解码芯片的配置和使用，请参考我往期的博客，博客地址：点击直接前往
IT6802解码芯片配置及采集这两部分均用verilog代码模块实现，代码位置如下：
在这里插入图片描述
代码中配置为1920x1080分辨率；

动态彩条

动态彩条可配置为不同分辨率的视频，视频的边框宽度，动态移动方块的大小，移动速度等都可以参数化配置，我这里配置为辨率1280x720，动态彩条模块代码位置和顶层接口和例化如下：
在这里插入图片描述

缓冲FIFO

缓冲FIFO的作用是为了解决跨时钟域的问题，当视频不进行缩放时不存在视频跨时钟域问题，但当视频缩小或放大时就存在此问题，用FIFO缓冲可以使图像缩放模块每次读到的都是有效的输入数据，注意，原视频的输入时序在这里就已经被打乱了；

图像缩放模块详解

设计框图

本设计将常用的双线性插值和邻域插值算法融合为一个代码中，通过输入参数选择某一种算法；代码使用纯verilog实现，没有任何ip，可在Xilinx、Intel、国产FPGA间任意移植；代码以ram和fifo为核心进行数据缓存和插值实现，设计架构如下：
在这里插入图片描述
视频输入时序要求如下：

输入像素数据在dInValid和nextDin同时为高时方可改变；
视频输出时序要求如下：

输出像素数据在dOutValid 和nextdOut同时为高时才能输出；

代码框图

代码使用纯verilog实现，没有任何ip，可在Xilinx、Intel、国产FPGA间任意移植；
图像缩放的实现方式很多，最简单的莫过于Xilinx的HLS方式实现，用opencv的库，以c++语言几行代码即可完成，关于HLS实现图像缩放请参考我之前写的文章HLS实现图像缩放
网上也有其他图像缩放例程代码，但大多使用了IP，导致在其他FPGA器件上移植变得困难，通用性不好；相比之下，本设计代码就具有通用性；代码架构如图；
在这里插入图片描述
其中顶层接口部分如下：

2种插值算法的整合与选择

本设计将常用的双线性插值和邻域插值算法融合为一个代码中，通过输入参数选择某一种算法；
具体选择参数如下：

input  wire i_scaler_type //0-->bilinear;1-->neighbor

通过输入i_scaler_type 的值即可选择；

输入0选择双线性插值算法；
输入1选择邻域插值算法；

关于这两种算法的数学差异，请参考我之前写的文章HLS实现图像缩放

视频拼接算法

视频拼接方案如下：以工程2的4路OV5640摄像头拼接为例；
在这里插入图片描述
输出屏幕分辨率为1920X1080；
输入摄像头分辨率为960X540；
4路输入刚好可以占满整个屏幕；
多路视频的拼接显示原理如下：

以把 2 个摄像头 CAM0 和 CAM1 输出到同一个显示器上为列，为了把 2 个图像显示到 1 个显示器，首先得搞清楚以下关系：
hsize：每 1 行图像实际在内存中占用的有效空间，以 32bit 表示一个像素的时候占用内存大小为 hsize*4；
hstride：用于设置每行图像第一个像素的地址,以 32bit 表示一个像素的时候 v_cnt hstride4；
vsize：有效的行；
因此很容易得出 cam0 的每行第一个像素的地址也是 v_cnt hstride4；
同理如果我们需要把 cam1 在 hsize 和 vsize 空间的任何位置显示，我们只要关心 cam1 每一行图像第一个像素的地址，可以用以下公式 v_cnt hstride4+offset；
uifdma_dbuf 支持 stride 参数设置，stride 参数可以设置输入数据 X(hsize)方向每一行数据的第一个像素到下一个起始像素的间隔地址，利用 stride 参数可以非常方便地摆放输入视频到内存中的排列方式。
关于uifdma_dbuf，可以参考我之前写的文章点击查看：FDMA实现视频数据三帧缓存
根据以上铺垫，每路摄像头缓存的基地址如下：
CAM0：ADDR_BASE=0x80000000；
CAM1：ADDR_BASE=0x80000000+(1920-960)X4；
CAM2：ADDR_BASE=0x80000000+(1080-540)X1920X4；
CAM3：ADDR_BASE=0x80000000+(1080-540)X1920X4+(1920-960)X4；
地址设置完毕后基本就完事儿了；

图像缓存

经常看我博客的老粉应该都知道，我做图像缓存的套路是FDMA，他的作用是将图像送入DDR中做3帧缓存再读出显示，目的是匹配输入输出的时钟差和提高输出视频质量，关于FDMA，请参考我之前的博客，博客地址：点击直接前往
这里多路视频拼接时，调用多路FDMA进行缓存，具体讲就是每一路视频调用1路FDMA，以4路视频拼接为例：
调用4路FDMA，其中三路配置为写模式，因为这三路视频在这里只需要写入DDR3，读出是由另一个FDMA完成，配置如下：
在这里插入图片描述
另外1路FDMA配置为读写模式，因为4路视频需要同时一并读出，配置如下：

视频拼接的关键点在于4路视频在DDR3中缓存地址的不同，还是以4路视频拼接为例，4路FDMA的写地址以此为：
第一路视频缓存写基地址：0x80000000；
第二路视频缓存写基地址：0x80000f00；
第三路视频缓存写基地址：0x803f4800；
第四路视频缓存写基地址：0x803f5700；
视频缓存读基地址：0x80000000；

视频输出

视频从FDMA读出后，经过VGA时序模块和HDMI发送模块后输出显示器，代码位置如下：
在这里插入图片描述
VGA时序配置为1280X720，HDMI发送模块采用verilog代码手写，可以用于FPGA的HDMI发送应用，关于这个模块，请参考我之前的博客，博客地址：点击直接前往

4、vivado工程1：2路视频缩放拼接

开发板FPGA型号：Xilinx--Kintex7--xc7k325tffg676-2；
开发环境：Vivado2019.1；
输入：HDMI(IT6802解码)或动态彩条，分辨率1920x1080；
输出：HDMI，1080P分辨率下的显示2路拼接视频；
工程应用：FPGA 图像缩放多路视频拼接；
工程BD如下：
在这里插入图片描述
工程代码架构如下：

工程的资源消耗和功耗如下：

5、vivado工程2：4路视频缩放拼接

开发板FPGA型号：Xilinx--Kintex7--xc7k325tffg676-2；
开发环境：Vivado2019.1；
输入：HDMI(IT6802解码)或动态彩条，分辨率1920x1080；
输出：HDMI，1080P分辨率下的显示4路拼接视频；
工程应用：FPGA 图像缩放多路视频拼接；
工程BD如下：
在这里插入图片描述
工程代码架构如下：

工程的资源消耗和功耗如下：

6、工程移植说明

vivado版本不一致处理

1：如果你的vivado版本与本工程vivado版本一致，则直接打开工程；
2：如果你的vivado版本低于本工程vivado版本，则需要打开工程后，点击文件-->另存为；但此方法并不保险，最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本；
在这里插入图片描述
3：如果你的vivado版本高于本工程vivado版本，解决如下：

打开工程后会发现IP都被锁住了，如下：

此时需要升级IP，操作如下：

FPGA型号不一致处理

如果你的FPGA型号与我的不一致，则需要更改FPGA型号，操作如下：
在这里插入图片描述

更改FPGA型号后还需要升级IP，升级IP的方法前面已经讲述了；

其他注意事项

1：由于每个板子的DDR不一定完全一样，所以MIG IP需要根据你自己的原理图进行配置，甚至可以直接删掉我这里原工程的MIG并重新添加IP，重新配置；
2：根据你自己的原理图修改引脚约束，在xdc文件中修改即可；
3：纯FPGA移植到Zynq需要在工程中添加zynq软核；

7、上板调试验证并演示

准备工作

你需要有以下装备才能移植并测试该工程代码：
1：FPGA开发板；
2：板载的HDMI输入接口，如果没有也可以，就选择动态彩条；
3：HDMI传输线；
4：HDMI显示，要求分辨率支持1920x1080；

静态演示

工程1：HDMI(IT6802解码)1920x1080输入缩放到960x1080后2路视频拼接2分屏输出如下：
在这里插入图片描述
工程1：动态彩条1920x1080输入缩放到960x1080后2路视频拼接2分屏输出如下：

工程2：HDMI(IT6802解码)1920x1080输入缩放到960x540后4路视频拼接4分屏输出如下：

工程2：动态彩条1920x1080输入缩放到960x540后4路视频拼接4分屏输出如下：
在这里插入图片描述