【嘉勤点评】鸿海发明的基于超分辨解析处理网络的影像处理方案,借助于基于智能算法的超分辨解析模型,可以提升超像素处理的效果,并可对高解析影像中的兴趣区进行增强,进而提升高解析影像中的兴趣区的超像素处理的效果。
集微网消息,图像超分辨率重构(SR)是指利用计算机将一幅低分辨率图像(LR)或图像序列进行处理,恢复出高分辨率图像(HR)的一种图像处理技术。HR意味着图像具有高像素密度,可以提供更多的细节,这些细节往往在应用中起到关键作用。
就目前影像处理技术而言,常常需要对影像图像执行超解析处理,以进行进一步的任务,例如提升医学影像清晰度、生物识别成效以及增进自驾车影像分割效果等。因此,处理后的超解析影像内容是否能精确呈现“下一步任务所需要的关键细节”成为目前超解析处理的关键问题。
为此,鸿海在2021年12月30日申请了一项名为“影像处理设备以及超解析处理方法”的发明专利(申请号:202111646609.2),申请人为鸿海精密工业股份有限公司。
根据该方案目前公开的相关资料,让我们一起来看看这项技术方案吧。
如上图,为该专利中发明的影像处理设备的结构示意图,影像处理设备100包括影像撷取电路110以及处理器120。影像撷取电路用以撷取高解析影像HR,处理器连接影像撷取电路,处理器可以基于相应的软件或固件指令程序以执行超解析模型SM1以及注意力模型AM。
超解析模型SM1可用以对低解析影像LR进行超解析处理以产生超解析(Super Resolution)影像SR,其中超解析影像SR1的分辨率等于高解析影像HR的分辨率。超解析模型SM1可以为超解析生成对抗网络(SRGAN)、深度递归卷积网络(DRCN)或超解析卷积神经网络(SRCNN)等网络。
如上图,为基于这种系统结构的超解析处理方法的流程图,首先,系统撷取高解析影像HR,并对高解析影像HR执行下采样处理以产生低解析影像LR。其次,利用超解析模型SM1对低解析影像LR进行超解析处理以产生超解析影像SR1。
接着,将注意力模型AM套用至高解析影像HR以及超解析影像SR1产生注意力加权高解析影像以及注意力加权超解析影像,并依据注意力加权高解析影像以及注意力加权超解析影像计算第一损失loss1。
最后,依据第一损失loss1更新超解析模型SM1。根据上述过程,影像处理设备将可以精准呈现下游任务所需要的关键细节,即对高解析影像HR中的兴趣区会有更强的超像素处理的效果。
最后,如上图,为该专利中展示的执行注意力模型的示意图,可以看到该图以虹膜识别作为示例。在虹膜识别的使用情境中,遮罩处理模型MM可对高解析影像HR设定一个二元遮罩BRM1。其中二元遮罩BRM1中的白色区域的权重值的数值被设定为1(与视网膜对应的影像兴趣区),二元遮罩BRM1中的黑色区域的像素的像素值被设定为0(非影像兴趣区)。
接着,遮罩处理模型MM可将超解析影像SR1中的像素的像素值依序与二元遮罩BRM1中的权重值进行乘法运算以产生注意力加权超解析影像RWI1,并可将高解析影像HR中的像素的像素值依序与二元遮罩BRM1中的权重值进行乘法运算以产生注意力加权高解析影像RWI2。
最后,损失模型LM可接收注意力加权超解析影像RWI1以及注意力加权高解析影像RWI2。并可对注意力加权超解析影像RWI1的像素的像素值依序与注意力加权高解析影像RWI2的像素的像素值相减,通过将所获得的差值取绝对值加起来以产生第一损失loss1。
以上就是鸿海发明的基于超分辨解析处理网络的影像处理方案,借助于基于智能算法的超分辨解析模型,可以提升超像素处理的效果,并可对高解析影像中的兴趣区进行增强,进而提升高解析影像中的兴趣区的超像素处理的效果。