FPGA纯verilog代码实现图像缩放，两种插值算法任意尺寸缩放，提供3套工程源码和技术支持

1、前言

没玩过图像缩放都不好意思说自己玩儿过FPGA，这是CSDN某大佬说过的一句话，鄙人深信不疑。。。
目前市面上主流的FPGA图像缩放方案如下：
1：Xilinx的HLS方案，该方案简单，易于实现，但只能用于Xilinx自家的FPGA；关于HLS实现图像缩放请，参考我之前写的文章HLS实现图像缩放点击查看：HLS图像缩放
2：非纯Verilog方案，大部分代码使用Verilog实现，但中间的fifo或ram等使用了IP，导致移植性变差，难以在Xilinx、Altera和国产FPGA之间自由移植；
3：纯Verilog方案，也就是本方案，一个字：牛逼！！！

本文使用Xilinx的Kintex7 FPGA纯verilog代码实现图像缩放，视频源有两种，分别对应开发者手里有没有摄像头的情况，一种是使用廉价的OV5640摄像头模组；如果你得手里没有摄像头，或者你得开发板没有摄像头接口，则可使用代码内部生成的动态彩条模拟摄像头视频；视频源的选择通过代码顶层的`define宏定义进行，默认使用ov5640作为视频源；使用纯verilog代码实现的图像缩放模块做输入图像的缩小或放大；图像缩放模块支持领域插值和双线性插值2种算法，通过模块顶层参数选择；缩放后的图像经过fifo缓冲后进入图像缓存阶段；使用我常用的FDMA方案实现图像的三帧缓存，缩放后的视频最好进行缓存操作，因为缩放后，原本的视频时序已经被打乱，不缓存的话直接读出基本是错误且不对齐的数据，输出的图像是乱码；读出视频后，用纯verilog显示的HDMI输出模块送显示器显示即可；

本博客详细描述了FPGA纯verilog代码实现图像缩放的设计方案，工程代码可综合编译上板调试，可直接项目移植，适用于在校学生、研究生项目开发，也适用于在职工程师做学习提升，可应用于医疗、军工等行业的高速接口或图像处理领域；
提供完整的、跑通的工程源码和技术支持；
工程源码和技术支持的获取方式放在了文章末尾，请耐心看到最后；

版本更新说明

此版本为第2版，根据读者的建议，对第1版工程做了如下改进和更新：
1：增加了输入视频动态彩条的选择，有的读者说他手里没有OV5640摄像头或者摄像头原理图和我的不一致，导致在移植过程中困难很大，基于此，增加了动态彩条，它由FPGA内部产生，不需要外接摄像头就可以使用，使用方法在后文有说明；
2：优化了FDMA，之前的FDMA内AXI4的数据读写突发长度为256，导致在低端FPGA上带宽不够，从而图像质量不佳，基于此，将FDMA内AXI4的数据读写突发长度改为128；
3：优化了HDMI输出模块，之前用的自定义IP，有读者说IP无法更新，虽能正常使用，但看源码不方便，基于此，将HDMI输出模块改为纯verilog实现的，直接了当；
4:更新了输出时序模块，我的输出时序模块采用1080P背景中显示有效区域图像的方式，之前的版本，除有效区域图像外，其他区域是花屏的，有读者说看着不舒服，基于此，将，除有效区域图像外的图像优化为黑色，即黑色背景中显示有效区域图像的方式，在第9章节有贴图；

免责声明

本工程及其源码即有自己写的一部分，也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等)，若大佬们觉得有所冒犯，请私信批评教育；基于此，本工程及其源码仅限于读者或粉丝个人学习和研究，禁止用于商业用途，若由于读者或粉丝自身原因用于商业用途所导致的法律问题，与本博客及博主无关，请谨慎使用。。。

2、我这里已有的FPGA图像缩放方案

我的主页目前有FPGA图像缩放专栏，改专栏收录了我目前手里已有的FPGA图像缩放方案，从实现方式分类有基于HSL实现的图像缩放、基于纯verilog代码实现的图像缩放；从应用上分为单路视频图像缩放、多路视频图像缩放、多路视频图像缩放拼接；从输入视频分类可分为OV5640摄像头视频缩放、SDI视频缩放、MIPI视频缩放等等；以下是专栏地址：
点击直接前往

3、设计思路框架

本博客提供3套vivado工程源码，2套工程的不同点在缩放的系数；
工程1为不缩放，输入视频分辨率为1280x720，输出视频也分辨率为1280x720，相当于没有缩放，但视频经过了图像缩放模块，只不过缩放系数为1；工程1设计框图如下：
在这里插入图片描述

工程2为图像缩小，输入视频分辨率为1280x720，输出视频分辨率为800x600，视频经过了图像缩放模块，缩放系数为自定义，仅需在缩放模块接口处直接给定输出分辨率即可实现；工程2设计框图如下：
在这里插入图片描述
工程3为图像放大，输入视频分辨率为1280x720，输出视频分辨率为1920x1080，视频经过了图像缩放模块，缩放系数为自定义，仅需在缩放模块接口处直接给定输出分辨率即可实现；工程3设计框图如下：

视频源选择

视频源有两种，分别对应开发者手里有没有摄像头的情况，如果你的手里有摄像头，或者你的开发板有摄像头接口，则使用摄像头作为视频输入源，我这里用到的是廉价的OV5640摄像头模组；如果你得手里没有摄像头，或者你得开发板没有摄像头接口，则可使用代码内部生成的动态彩条模拟摄像头视频，动态彩条是移动的画面，完全可以模拟视频；默认使用ov5640作为视频源；视频源的选择通过代码顶层的`define宏定义进行；如下：
在这里插入图片描述
选择逻辑代码部分如下：

选择逻辑如下：
当(注释) define USE_SENSOR时，输入源视频是动态彩条；
当(不注释) define USE_SENSOR时，输入源视频是ov5640摄像头；

OV5640摄像头配置及采集

OV5640摄像头需要i2c配置才能使用，需要将DVP接口的视频数据采集为RGB565或者RGB888格式的视频数据，这两部分均用verilog代码模块实现，代码位置如下：
在这里插入图片描述
其中摄像头配置为分辨率1280x720，如下：

摄像头采集模块支持RGB565和RGB888格式的视频输出，可由参数配置，如下：

RGB_TYPE=0输出本RGB565格式；
RGB_TYPE=1输出本RGB888格式；
设计选择RGB565格式；

动态彩条

动态彩条可配置为不同分辨率的视频，视频的边框宽度，动态移动方块的大小，移动速度等都可以参数化配置，我这里配置为辨率1280x720，动态彩条模块代码位置和顶层接口和例化如下：
在这里插入图片描述

缓冲FIFO

缓冲FIFO的作用是为了解决跨时钟域的问题，当视频不进行缩放时不存在视频跨时钟域问题，但当视频缩小或放大时就存在此问题，用FIFO缓冲可以使图像缩放模块每次读到的都是有效的输入数据，注意，原视频的输入时序在这里就已经被打乱了；

图像缩放模块详解

设计框图

本设计将常用的双线性插值和邻域插值算法融合为一个代码中，通过输入参数选择某一种算法；代码使用纯verilog实现，没有任何ip，可在Xilinx、Intel、国产FPGA间任意移植；代码以ram和fifo为核心进行数据缓存和插值实现，设计架构如下：
在这里插入图片描述
视频输入时序要求如下：

输入像素数据在dInValid和nextDin同时为高时方可改变；
视频输出时序要求如下：

输出像素数据在dOutValid 和nextdOut同时为高时才能输出；

代码框图

代码使用纯verilog实现，没有任何ip，可在Xilinx、Intel、国产FPGA间任意移植；
图像缩放的实现方式很多，最简单的莫过于Xilinx的HLS方式实现，用opencv的库，以c++语言几行代码即可完成，关于HLS实现图像缩放请参考我之前写的文章HLS实现图像缩放
网上也有其他图像缩放例程代码，但大多使用了IP，导致在其他FPGA器件上移植变得困难，通用性不好；相比之下，本设计代码就具有通用性；代码架构如图；
在这里插入图片描述
其中顶层接口部分如下：

2种插值算法的整合与选择

本设计将常用的双线性插值和邻域插值算法融合为一个代码中，通过输入参数选择某一种算法；
具体选择参数如下：

input  wire i_scaler_type //0-->bilinear;1-->neighbor

通过输入i_scaler_type 的值即可选择；

输入0选择双线性插值算法；
输入1选择邻域插值算法；

关于这两种算法的数学差异，请参考我之前写的文章HLS实现图像缩放

图像缓存

经常看我博客的老粉应该都知道，我做图像缓存的套路是FDMA，他的作用是将图像送入DDR中做3帧缓存再读出显示，目的是匹配输入输出的时钟差和提高输出视频质量，关于FDMA，请参考我之前的博客，博客地址：点击直接前往

视频输出

视频从FDMA读出后，经过VGA时序模块和HDMI发送模块后输出显示器，代码位置如下：
在这里插入图片描述
VGA时序配置为1280X720，HDMI发送模块采用verilog代码手写，可以用于FPGA的HDMI发送应用，关于这个模块，请参考我之前的博客，博客地址：点击直接前往

4、vivado和matlab联合仿真

第一步：网上下载一张1280X720的图片，并用matlab将图片转换为RGB格式的txt文档；
第二步：在vivado下设计tstbench，将RGB格式的txt文档作为视频输入源给到图像缩放模块，并将缩放后的图像数据写入输出txt文档；
第二步：用matlab将输出txt文档转换为图片，并于原图一并输出显示以做比较；
根据以上方法得到以下仿真结果：
双线性插值算法原图1280X720缩小到800x600如下：
在这里插入图片描述
邻域插值算法原图1280X720缩小到800x600如下：

双线性插值算法原图1280X720放大到1920x1080如下：

邻域插值算法原图1280X720放大到1920x1080如下：

5、工程代码1：720P原始摄像头采集显示

开发板FPGA型号：Xilinx--Kintex7--xc7k325tffg676-2；
开发环境：Vivado2019.1；
输入：OV5640摄像头或动态彩条，分辨率1280x720p；
输出：HDMI，1080P分辨率下的720P有效区域显示；
工程作用：采集原始的720P图像，以便和后面的缩小效果作比较；
工程BD如下：
在这里插入图片描述
工程代码架构如下：

工程的资源消耗和功耗如下：

6、工程代码2：720P缩小到800x600P显示

开发板FPGA型号：Xilinx--Kintex7--xc7k325tffg676-2；
开发环境：Vivado2019.1；
输入：OV5640摄像头或动态彩条，分辨率1280x720p；
输出：HDMI，1080P分辨率下的800x600有效区域显示；
工程作用：1280x720原图缩小到800x600，并和原图作比较；
工程设计框架、BD、工程代码架构和工程1一样；

7、工程代码3：720P缩放大1920x1080P显示

开发板FPGA型号：Xilinx--Kintex7--xc7k325tffg676-2；
开发环境：Vivado2019.1；
输入：OV5640摄像头或动态彩条，分辨率1280x720p；
输出：HDMI，1080P分辨率下的1920x1080有效区域显示；
工程作用：1280x720原图放大到1920x1080，并和原图作比较；
工程设计框架、BD、工程代码架构和工程1一样；

8、工程移植说明

vivado版本不一致处理

1：如果你的vivado版本与本工程vivado版本一致，则直接打开工程；
2：如果你的vivado版本低于本工程vivado版本，则需要打开工程后，点击文件-->另存为；但此方法并不保险，最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本；
在这里插入图片描述
3：如果你的vivado版本高于本工程vivado版本，解决如下：

打开工程后会发现IP都被锁住了，如下：

此时需要升级IP，操作如下：

FPGA型号不一致处理

如果你的FPGA型号与我的不一致，则需要更改FPGA型号，操作如下：
在这里插入图片描述

更改FPGA型号后还需要升级IP，升级IP的方法前面已经讲述了；

其他注意事项

1：由于每个板子的DDR不一定完全一样，所以MIG IP需要根据你自己的原理图进行配置，甚至可以直接删掉我这里原工程的MIG并重新添加IP，重新配置；
2：根据你自己的原理图修改引脚约束，在xdc文件中修改即可；
3：纯FPGA移植到Zynq需要在工程中添加zynq软核；

9、上板调试验证并演示

静态演示

工程1：ov5640摄像头原图1280x720输出效果如下：
在这里插入图片描述
工程1：动态彩条原图1280x720输出效果如下：

工程2：ov5640摄像头原图1280x720缩小到800x600输出效果如下：

工程2：动态彩条原图1280x720缩小到800x600输出效果如下：

工程3：ov5640摄像头原图1280x720放大到1920x1080输出效果如下：
在这里插入图片描述
工程3：动态彩条原图1280x720放大到1920x1080输出效果如下：

动态视频演示如下：
点击观看视频