Xilinx Zynq-7000系列FPGA实现视频拼接显示，提供两套工程源码和技术支持

1、前言

没玩过视频拼接都不好意思说自己玩儿过FPGA，这是CSDN某大佬说过的一句话，鄙人深信不疑。。。
目前市面上主流的FPGA视频拼接方案如下：
1：Xilinx的HLS方案，该方案简单，易于实现，但只能用于Xilinx自家的FPGA；
2：非纯Verilog方案，大部分代码使用Verilog实现，但中间的fifo或ram等使用了IP，导致移植性变差，难以在Xilinx、Altera和国产FPGA之间自由移植；
3：纯Verilog方案；

本文使用Xilinx Zynq7000系列FPGA Zynq7020实现HLS图像缩放，输入视频源采用OV5640摄像头模组；FPGA采集OV5640摄像头视频DVP转RGB888，调用Zynq软核的片内i2c控制器将OV5640配置为960x540@30Hz分辨率；工程用一路摄像头数据复制一份来模拟两路摄像头输入；然后调用2个Xilinx官方的Video In to AXI4-Stream IP核将RGB视频流转换为AXI4-Stream视频流；然后调用2个Xilinx官方的VDMA IP将视频做PS侧DDR3的视频缓存操作，VDMA需要Zynq软件配置为三帧缓存，其本质为通过AXI_Lite 做寄存器配置；然后调用Xilinx官方的Video Mixer IP核做两路视频拼接操作，Video Mixer需要Zynq软件配置为三帧缓存，其本质为通过AXI_Lite 做寄存器配置；然后调用Xilinx官方的Video Timing Controller IP和AXI4-Stream to Video Out IP将AXI4-Stream视频流转换为RGB视频流；然后添加自定义的HDMI发送IP将RGB视频转换为TMDS的差分视频送显示器显示；

提供两套vivado2019.1版本的工程源码和技术支持，两套工程的区别在于拼接的视频路数不同方式不同，详情如下：
第一套vivado工程源码：输入，OV5640摄像头；2路拼接输出，HDMI显示器；
第二套vivado工程源码：输入，OV5640摄像头；4路拼接输出，HDMI显示器；

Xilinx Zynq-7000系列FPGA实现视频拼接显示的设计方案，工程代码可综合编译上板调试，可直接项目移植，适用于在校学生、研究生项目开发，也适用于在职工程师做学习提升，可应用于医疗、军工等行业的高速接口或图像处理领域；整个工程调用Zynq软核做IP的配置，Zynq的配置在SDK里以C语言软件代码的形式运行，所以整个工程包括FPGA逻辑设计和SDK软件设计两部分，需要具备FPGA和嵌入式C语言的综合能力，不适合初学者或者小白；

提供完整的、跑通的工程源码和技术支持；
工程源码和技术支持的获取方式放在了文章末尾，请耐心看到最后；

免责声明

本工程及其源码即有自己写的一部分，也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等)，若大佬们觉得有所冒犯，请私信批评教育；基于此，本工程及其源码仅限于读者或粉丝个人学习和研究，禁止用于商业用途，若由于读者或粉丝自身原因用于商业用途所导致的法律问题，与本博客及博主无关，请谨慎使用。。。

2、相关方案推荐

FPGA图像处理方案

我的主页目前有FPGA图像处理专栏，改专栏收录了我目前手里已有的FPGA图像处理方案，包括图像缩放、图像识别、图像拼接、图像融合、图像去雾、图像叠加、图像旋转、图像增强、图像字符叠加等等；以下是专栏地址：
点击直接前往

FPGA视频拼接叠加融合方案推荐

我的主页目前有FPGA视频拼接叠加融合专栏，改专栏收录了我目前手里已有的FPGA视频拼接叠加融合方案，从实现方式分类有基于HSL实现的视频拼接、基于纯verilog代码实现的视频拼接；从应用上分为单路、2路、3路、4路、8路、16路视频拼接；视频缩放+拼接；视频融合叠加；从输入视频分类可分为OV5640摄像头视频拼接、SDI视频拼接、CameraLink视频拼接等等；以下是专栏地址：
点击直接前往

3、设计思路详解

本文使用Xilinx Zynq7000系列FPGA Zynq7020实现HLS图像缩放，输入视频源采用OV5640摄像头模组；FPGA采集OV5640摄像头视频DVP转RGB888，调用Zynq软核的片内i2c控制器将OV5640配置为960x540@30Hz分辨率；工程用一路摄像头数据复制一份来模拟两路摄像头输入；然后调用2个Xilinx官方的Video In to AXI4-Stream IP核将RGB视频流转换为AXI4-Stream视频流；然后调用2个Xilinx官方的VDMA IP将视频做PS侧DDR3的视频缓存操作，VDMA需要Zynq软件配置为三帧缓存，其本质为通过AXI_Lite 做寄存器配置；然后调用Xilinx官方的Video Mixer IP核做两路视频拼接操作，Video Mixer需要Zynq软件配置为三帧缓存，其本质为通过AXI_Lite 做寄存器配置；然后调用Xilinx官方的Video Timing Controller IP和AXI4-Stream to Video Out IP将AXI4-Stream视频流转换为RGB视频流；然后添加自定义的HDMI发送IP将RGB视频转换为TMDS的差分视频送显示器显示；

提供两套vivado2019.1版本的工程源码和技术支持，两套工程的区别在于拼接的视频路数不同方式不同，详情如下：
第一套vivado工程源码：输入，OV5640摄像头；2路拼接输出，HDMI显示器；
第二套vivado工程源码：输入，OV5640摄像头；4路拼接输出，HDMI显示器；

第一套vivado工程源码设计框图如下：

第二套vivado工程源码设计框图如下：

框图解释：箭头表示数据流向，箭头内文字表示数据格式，箭头外数字表示数据流向的步骤；

Video Mixer介绍

由于工程所用到的IP都是常用IP，所以这里重点介绍一下Video Mixer IP；
支持最大分辨率：8K，即可以处理高达8K的视频；
支持最多16层视频拼接叠加，即最多可拼接16路视频；
输入视频格式：AXI4-Stream；
输出视频格式：AXI4-Stream；
需要SDK软件配置，其本质为通过AXI_Lite 做寄存器配置；
提供自定义的配置API，通过调用该库函数即可轻松使用，具体参考SDK代码；
模块占用的FPGA逻辑资源更小，相比于自己写的HLS视频拼接而言，官方的Video Mixer资源占用大约减小30%左右，且更高效：
Video Mixer逻辑资源如下，请谨慎评估你的FPGA资源情况；

4、工程代码1：2路视频拼接 HDMI 输出

PL 端 FPGA 逻辑设计

开发板FPGA型号：Xilinx--Zynq7020--xc7z020clg400-2；
开发环境：Vivado2019.1；
输入：OV5640摄像头，分辨率960x540；
输出：HDMI，1920x1080黑色背景下拼接2路视频输出；
工程作用：Xilinx Zynq-7000系列FPGA实现视频拼接显示， HDMI 输出；
工程BD如下：

工程代码架构如下：

工程的资源消耗和功耗如下：

PS 端 SDK 软件设计

PS 端 SDK 软件工程代码架构如下：

PS工程主函数如下：

#include "I2C_16bit.h"
#include "xiicps.h"
#include "xil_io.h"
#include "xparameters.h"
#include "helai_vdma.h"
#include "helai_mixer.h"
#include "uart.h"

XIicPs    Iic;
XScuGic Intc;              //中断控制器驱动程序实例
XUartPs Uart_Ps;           //串口驱动程序实例
void main()
{
    uart_init(&Uart_Ps);    //串口初始化
    uart_intr_init(&Intc, &Uart_Ps); //串口中断初始化
    I2C_config_init();    //ov5640 配置完成
    helai_vdma();    // VDMA 配置完成
    helai_mixer();    // video mixer 配置完成
    print("zynq7020 两路视频拼接:\n\r");
    print("输入视频分辨率:960x540\n\r");
    print("1920x1080黑色背景下拼接两路视频输出\n\r");
    while (1) ;
}

5、工程代码2：4路视频拼接 HDMI 输出

PL 端 FPGA 逻辑设计

开发板FPGA型号：Xilinx--Zynq7020--xc7z020clg400-2；
开发环境：Vivado2019.1；
输入：OV5640摄像头，分辨率960x540；
输出：HDMI，1920x1080黑色背景下拼接4路视频输出；
工程作用：Xilinx Zynq-7000系列FPGA实现视频拼接显示， HDMI 输出；
工程BD如下：

工程代码架构如下：

工程的资源消耗和功耗如下：

PS 端 SDK 软件设计

PS 端 SDK 软件工程代码架构如下：

#include "I2C_16bit.h"
#include "xiicps.h"
#include "xil_io.h"
#include "xparameters.h"
#include "helai_vdma.h"
#include "helai_mixer.h"
#include "uart.h"

XIicPs    Iic;
XScuGic Intc;              //中断控制器驱动程序实例
XUartPs Uart_Ps;           //串口驱动程序实例
void main()
{
    uart_init(&Uart_Ps);    //串口初始化
    uart_intr_init(&Intc, &Uart_Ps); //串口中断初始化
    I2C_config_init();    //ov5640 配置完成
    helai_vdma();    // VDMA 配置完成
    helai_mixer();    // video mixer 配置完成
    print("zynq7020 四路视频拼接:\n\r");
    print("输入视频分辨率:960x540\n\r");
    print("1920x1080黑色背景下拼接四路视频输出\n\r");
    while (1) ;
}

6、工程移植说明

vivado版本不一致处理

1：如果你的vivado版本与本工程vivado版本一致，则直接打开工程；
2：如果你的vivado版本低于本工程vivado版本，则需要打开工程后，点击文件-->另存为；但此方法并不保险，最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本；

3：如果你的vivado版本高于本工程vivado版本，解决如下：

打开工程后会发现IP都被锁住了，如下：

此时需要升级IP，操作如下：

FPGA型号不一致处理

如果你的FPGA型号与我的不一致，则需要更改FPGA型号，操作如下：



更改FPGA型号后还需要升级IP，升级IP的方法前面已经讲述了；

其他注意事项

1：由于每个板子的DDR不一定完全一样，所以MIG IP需要根据你自己的原理图进行配置，甚至可以直接删掉我这里原工程的MIG并重新添加IP，重新配置；
2：根据你自己的原理图修改引脚约束，在xdc文件中修改即可；
3：纯FPGA移植到Zynq需要在工程中添加zynq软核；

7、上板调试验证并演示

准备工作

Zynq7000系列开发板；
OV5640摄像头；
HDMI显示器，支持1080P；

输出静态演示

工程1：ov5640输入分辨率960x540，2路视频拼接输出如下：

工程2：ov5640输入分辨率960x540，4路视频拼接输出如下：

输出动态演示

录制了一个小视频，输出动态演示如下：
[video(video-4uCne10P-1700790814301)(type-csdn)(url-https://live.csdn.net/v/embed...)(image-https://video-community.csdni...)(title-video-mixer-hdmi)]

8、福利：工程源码获取

福利：工程代码的获取
代码太大，无法邮箱发送，以百度网盘链接方式发送，
通过微信获取资料：

网盘资料如下：