紫光同创FPGA纯verilog代码实现图像缩放,两种插值算法任意尺寸缩放,提供3套PDS工程源码
1、前言
“苟利国家生死以,岂因祸福避趋之!”大洋彼岸的我优秀地下档员,敏锐地洞察到祖国的短板在于高精尖半导体的制造领域,于是本着为中华民族伟大复兴的中国梦贡献绵薄之力的初心,建国站在高略高度和长远角度谋划,宁愿背当代一世之骂名也要为祖国千秋万世谋,2018年7月,建国正式打响毛衣战,随后又使出恰勃纸战术,旨在为祖国先进制程半导体领域做出自主可控的战略推动;在此,请收下我一声谢谢啊!!!!!!
2019年初我刚出道时,还是Xilinx遥遥领先的时代(现在貌似也是),那时的国产FPGA还处于辣鸡段位,国产FPGA仰望Xilinx情不自禁道:你以为躲在这里就找不到你吗?没用的,你那样拉轰的男人,无论在哪里,都像黑夜里的萤火虫那样的鲜明、那样的出众,你那忧郁的眼神,稀嘘的胡渣子,神乎其技的刀法,还有那杯Dry martine,都深深的迷住了我。。。然而才短短4年,如今的国产FPGA属于百家争鸣、百花齐放、八仙过海、神仙打架、方兴未艾、得陇望蜀、友商都是XX的喜极而泣之局面,面对此情此景,不得不吟唱老人家的诗句:魏武挥鞭,东临碣石有遗篇,萧瑟秋风今又是,换了人间。。。
言归正传,目前对于国产FPGA的共识有以下几点:
1:性价比高,与同级别国外大厂芯片相比,价格相差几倍甚至十几倍;
2:自主可控,国产FPGA拥有完整自主知识产权的产业链,从芯片到相关EDA工具
3:响应迅速,FAE技术支持比较到位,及时解决开发过程中遇到的问题,毕竟中文数据手册。。
4:采购方便,产业链自主可控,采购便捷
目前市面上主流的FPGA图像缩放方案如下:
1:Xilinx的HLS方案,该方案简单,易于实现,但只能用于Xilinx自家的FPGA;关于HLS实现图像缩放请,参考我之前写的文章HLS实现图像缩放点击查看:HLS图像缩放
2:非纯Verilog方案,大部分代码使用Verilog实现,但中间的fifo或ram等使用了IP,导致移植性变差,难以在Xilinx、Altera和国产FPGA之间自由移植;
3:纯Verilog方案,也就是本方案,一个字:牛逼!!!
本文使用紫光同创的PGL22G-6MBG324 FPGA纯verilog代码实现图像缩放,视频源有两种,分别对应开发者手里有没有摄像头的情况,一种是使用廉价的OV7725摄像头模组;如果你得手里没有摄像头,或者你得开发板没有摄像头接口,则可使用代码内部生成的动态彩条模拟摄像头视频;视频源的选择通过代码顶层的`define宏定义进行,上电默认使用OV7725作为视频源;使用纯verilog代码实现的图像缩放模块做输入图像的缩小或放大;图像缩放模块支持领域插值和双线性插值2种算法,通过模块顶层参数选择;缩放后的图像经过fifo缓冲后进入图像缓存阶段;使用本人开发的HDMA视频缓存架构方案实现图像的三帧缓存,缩放后的视频最好进行缓存操作,因为缩放后,原本的视频时序已经被打乱,不缓存的话直接读出基本是错误且不对齐的数据,输出的图像是乱码;读出视频后,用纯verilog显示的HDMI输出模块送显示器显示即可;
本设计提供3套Pango Design Suite 2021.4版本的工程源码,工程1默认采集OV7725摄像头,输入分辨率为640x480@60Hz,经过图像缩放模块但不做缩放处理,相当于缩放系数为1,输出分辨率依然为640x480@60Hz,目的是为另外2套缩放工程做参考对比;工程2默认采集OV7725摄像头,输入分辨率为640x480@60Hz,经过图像缩放模块做缩小操作,缩小后的输出分辨率为600x400@60Hz;工程3默认采集OV7725摄像头,输入分辨率为640x480@60Hz,经过图像缩放模块做放大操作,缩小后的输出分辨率为1280x720@60Hz;
本博客详细描述了紫光同创FPGA纯verilog代码实现图像缩放的设计方案,工程代码可综合编译上板调试,可直接项目移植,适用于在校学生、研究生项目开发,也适用于在职工程师做学习提升,可应用于医疗、军工等行业的高速接口或图像处理领域;
提供完整的、跑通的工程源码和技术支持;
工程源码和技术支持的获取方式放在了文章末尾,请耐心看到最后;
免责声明
本工程及其源码即有自己写的一部分,也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等),若大佬们觉得有所冒犯,请私信批评教育;基于此,本工程及其源码仅限于读者或粉丝个人学习和研究,禁止用于商业用途,若由于读者或粉丝自身原因用于商业用途所导致的法律问题,与本博客及博主无关,请谨慎使用。。。
2、相关方案推荐
我这里已有的FPGA图像缩放方案推荐
我的主页目前有FPGA图像缩放专栏,改专栏收录了我目前手里已有的FPGA图像缩放方案,从实现方式分类有基于HSL实现的图像缩放、基于纯verilog代码实现的图像缩放;从应用上分为单路视频图像缩放、多路视频图像缩放、多路视频图像缩放拼接;从输入视频分类可分为OV5640摄像头视频缩放、SDI视频缩放、MIPI视频缩放等等;以下是专栏地址:点击直接前往
紫光同创FPGA图像采集方案推荐
本设计使用紫光同创FPGA做图像缩放,但图像缩放的基础是图像采集显示,缩放不过是图像处理的一种而已,FPGA图像采集显示的核心在于图像的DDR缓存,紫光同创FPGA自带DDR控制器IP,该IP带AXI4-FULL从机接口,所以对于图像的DDR缓存,就相对简单了,我之前专门出过一篇紫光同创FPGA采集OV7725摄像头HDMI显示的博客,感兴趣的可以前往查看,以下是博客地址:点击直接前往
Xilinx FPGA图像缩放方案推荐
本设计的图像缩放方案是基于我之前开发的Xilinx FPGA图像缩放方案,可以理解为把该方案从Xilinx平台移植到了紫光同创,该图像缩放模块采用纯verilog代码实现,没有使用任何IP,我之前专门出过一篇Xilinx FPGA图像缩放方案的博客,建议先仔细读读该博客,以下是博客地址:点击直接前往
3、设计思路框架
本设计提供3套Pango Design Suite 2021.4版本的工程源码,工程1默认采集OV7725摄像头,输入分辨率为640x480@60Hz,经过图像缩放模块但不做缩放处理,相当于缩放系数为1,输出分辨率依然为640x480@60Hz,目的是为另外2套缩放工程做参考对比;工程2默认采集OV7725摄像头,输入分辨率为640x480@60Hz,经过图像缩放模块做缩小操作,缩小后的输出分辨率为600x400@60Hz;工程3默认采集OV7725摄像头,输入分辨率为640x480@60Hz,经过图像缩放模块做放大操作,缩小后的输出分辨率为1280x720@60Hz;
工程1设计框图如下:
工程2设计框图如下:
工程3设计框图如下:
为什么选择OV7725摄像头?
紫光同创FPGA做图像缩放,理论上可以选择使用任何摄像头作为视频输入源,比如廉价的OV7725、OV5640等,但紫光同创的PGL22G-6MBG324 FPGA PLL无法输出742.5M的时钟,所以在开发板没有HDMI编码芯片的情况下,紫光同创的PGL22G-6MBG324 FPGA最大只能输出1280X720@60Hz的视频,如果使用OV5640,则不好做图像放大的试验,因为OV5640的输出分辨率就已经达到了1280X720;反观OV7725摄像头则很合适,因为OV7725摄像头输出分辨率为640X480@60Hz,可以做图像缩放的放大试验,放大到1280X720@60Hz,刚好达到紫光同创的PGL22G-6MBG324 FPGA的输出分辨率上线,也可以做做图像缩放的缩小试验;此外,OV7725摄像头也更便宜。。。
视频源选择
视频源有两种,分别对应开发者手里有没有摄像头的情况,一种是使用廉价的OV7725摄像头模组;如果你得手里没有摄像头,或者你得开发板没有摄像头接口,则可使用代码内部生成的动态彩条模拟摄像头视频;视频源的选择通过代码顶层的`define宏定义进行,上电默认使用OV7725作为视频源;视频源选择如下:
视频源选择逻辑代码部分如下:
选择逻辑如下:
当(注释) define COLOR_IN时,输入源视频是动态彩条;
当(不注释) define COLOR_IN时,输入源视频是OV7725;
OV7725摄像头配置及采集
OV7725摄像头需要i2c配置才能使用,需要将DVP接口的视频数据采集为RGB565或者RGB888格式的视频数据,这两部分均用verilog代码模块实现,代码位置如下:
其中摄像头配置为分辨率640x480;
摄像头采集模块支持RGB565和RGB888格式的视频输出,可由参数配置,如下:
RGB_TYPE=0输出本RGB565格式;
RGB_TYPE=1输出本RGB888格式;
设计选择RGB888格式;
动态彩条
动态彩条可配置为不同分辨率的视频,视频的边框宽度,动态移动方块的大小,移动速度等都可以参数化配置,配置为辨率640x480,动态彩条模块代码位置和顶层接口和例化如下:
缓冲FIFO
缓冲FIFO的作用是为了解决跨时钟域的问题,当视频不进行缩放时不存在视频跨时钟域问题,但当视频缩小或放大时就存在此问题,用FIFO缓冲可以使图像缩放模块每次读到的都是有效的输入数据,注意,原视频的输入时序在这里就已经被打乱了;
图像缩放模块详解
设计框图
本设计将常用的双线性插值和邻域插值算法融合为一个代码中,通过输入参数选择某一种算法;代码使用纯verilog实现,没有任何ip,可在Xilinx、Intel、国产FPGA间任意移植;代码以ram和fifo为核心进行数据缓存和插值实现,设计架构如下:
视频输入时序要求如下:
输入像素数据在dInValid和nextDin同时为高时方可改变;
视频输出时序要求如下:
输出像素数据在dOutValid 和nextdOut同时为高时才能输出;
代码框图
代码使用纯verilog实现,没有任何ip,可在Xilinx、Intel、国产FPGA间任意移植;
图像缩放的实现方式很多,最简单的莫过于Xilinx的HLS方式实现,用opencv的库,以c++语言几行代码即可完成,关于HLS实现图像缩放请参考我之前写的文章HLS实现图像缩放
网上也有其他图像缩放例程代码,但大多使用了IP,导致在其他FPGA器件上移植变得困难,通用性不好;相比之下,本设计代码就具有通用性;代码架构如图;
其中顶层接口部分如下:
2种插值算法的整合与选择
本设计将常用的双线性插值和邻域插值算法融合为一个代码中,通过输入参数选择某一种算法;
具体选择参数如下:
input wire i_scaler_type //0-->bilinear;1-->neighbor
通过输入i_scaler_type 的值即可选择;
输入0选择双线性插值算法;
输入1选择邻域插值算法;
关于这两种算法的数学差异,请参考我之前写的文章HLS实现图像缩放
HDMA图像缓存
HDMA图像缓存的本质就是一个封装了用户接口的AXI4-FULL-MASTER总线,HDMA对外与DDR3交互,紫光同创FPGA自带的DDR3控制器的用户接口为AXI4-FULL总线,HDMA对内例化两个FIFO与FPGA内部逻辑交互,所以开发者在使用HDMA时,已无需再关心复杂的为AXI4-FULL协议,只需要像使用FIFO那样简单即可;HDMA架构如下:
代码架构如下:
输入输出视频
输入视频的数据格式为RGB,即典型的pclk、vs、de、rgb形式的VGA视频时序,但需要注意的是,因为输入视频直接与FIFO交互,FIFO的AXI侧的数据位宽为128位,为了数据的不错位,输入视频的rgb信号接口不能为传统的24位,这里可以设置为16或者32位,代码中通过参数配置,我配置为32位,如下:
HDMA缓冲FIFO
例化两个FIFO作为FPGA逻辑数据与AXI4数据的缓冲,所谓缓冲,即数据位宽的转换、时钟域的转换、读写时机的控制等部分,FPGA逻辑侧的数据位宽为32位,AXI4侧的数据位宽为128位;以写FIFO为例,配置如下:
HDMA控制模块
HDMA控制模块的主要功能是实现AXI4-FULL主机和图像缓存读写地址切换两大功能;AXI4-FULL主机比较简单,照着AXI4-FULL时序图写就完事儿了,图像缓存读写地址切换就难了,本设计通过顶层的参数来配置图像缓存的帧数,如下:
HDMA_PINGPANG_EN=1则图像做三帧缓存;
HDMA_PINGPANG_EN=0则图像做单帧缓存;
本设计配置为HDMA_PINGPANG_EN=1;
为了实现图像的多帧缓存,将读写地址分段,如下:
读写地址=帧地址+数据地址;
数据地址:即正常的AXI4数据突发的地址增量;
写帧地址:一帧图像到来时+1;
读帧地址:一帧图像到来时+2;
如此做到了同时读写不同的帧地址,输出的图像是完美的。。。
这也叫做乒乓操作,核心代码如下:
VGA时序和HDMI输出
HDMI输出包括VGA时序和HDMI编码模块,VGA时序在紫光PGL22G-6MBG324 FPGA上只能做到720P,因为此FPGA可能太低端了,无法输出742.5M的串行时钟,当然,你用HDMI编码芯片是可以实现1080P的,所以这里只能做到720P的输出分辨率;HDMI编码模块待用原语实现,和Xilinx家的一样,代码结构如下:
4、vivado和matlab联合仿真
这个仿真试验是我在Xilinx平台FPGA上做的,在上板之前先做仿真是FPGA开发的常规流程,该仿真我已替你们做了,这里只是简述一下仿真的方法、流程和结果,我提供的资料包里并不提供该仿真文件,我已经替你们验证了,你们已不再需要做重复的工作。。。
第一步:网上下载一张1280X720的图片,并用matlab将图片转换为RGB格式的txt文档;
第二步:在vivado下设计tstbench,将RGB格式的txt文档作为视频输入源给到图像缩放模块,并将缩放后的图像数据写入输出txt文档;
第二步:用matlab将输出txt文档转换为图片,并于原图一并输出显示以做比较;
根据以上方法得到以下仿真结果:
双线性插值算法原图1280X720缩小到800x600如下:
邻域插值算法原图1280X720缩小到800x600如下:
双线性插值算法原图1280X720放大到1920x1080如下:
邻域插值算法原图1280X720放大到1920x1080如下:
5、PDS工程1详解:OV7725输入不缩放
开发板FPGA型号:紫光同创--PGL22G-6MBG324;
开发环境:Pango Design Suite 2021.4
输入:OV7725摄像头或动态彩条,分辨率640x480;
输出:HDMI,分辨率1280x720下的640x480有效区域显示;
工程作用:采集原始的640x480图像,以便和后面的缩放效果作比较;
工程代码架构如下:
工程的资源消耗如下:
工程已经综合编译完成,如下:
6、PDS工程2详解:OV7725输入图像缩小
开发板FPGA型号:紫光同创--PGL22G-6MBG324;
开发环境:Pango Design Suite 2021.4
输入:OV7725摄像头或动态彩条,分辨率640x480;
输出:HDMI,分辨率1280x720下的600x400有效区域显示;
工程作用:640x480原图缩小到600x400,并和原图作比较;
工程代码架构如下:
工程的资源消耗如下:
工程已经综合编译完成,如下:
7、PDS工程3详解:OV7725输入图像放大
开发板FPGA型号:紫光同创--PGL22G-6MBG324;
开发环境:Pango Design Suite 2021.4
输入:OV7725摄像头或动态彩条,分辨率640x480;
输出:HDMI,分辨率1280x720;
工程作用:640x480原图放大到1280x720,并和原图作比较;
工程代码架构如下:
工程的资源消耗如下:
工程已经综合编译完成,如下:
8、上板调试验证并演示
准备工作
你需要有以下装备才能移植并测试该工程代码:
1:FPGA开发板;
2:OV7725摄像头,如果没有也可以,就选择动态彩条;
3:HDMI传输线;
4:HDMI显示,要求分辨率支持1280x720;
静态演示
工程1:OV7725输入640x480分辨率不缩放HDMI输出静态演示如下:
工程1:动态彩条输入640x480分辨率不缩放HDMI输出静态演示如下:
工程2:OV7725输入640x480分辨率缩小到600x400后HDMI输出静态演示如下:
工程2:动态彩条输入640x480分辨率缩小到600x400后HDMI输出静态演示如下:
工程3:OV7725输入640x480分辨率放大到1280x720后HDMI输出静态演示如下:
工程3:动态彩条输入640x480分辨率放大到1280x720后HDMI输出静态演示如下:
动态演示
动态视频演示如下:
点击观看视频
9、福利:工程源码获取
福利:工程代码的获取
代码太大,无法邮箱发送,以百度网盘链接方式发送,
通过微信获取资料:
代码太大,无法邮箱发送,以某度网盘链接方式发送,
资料如下: