[发明专利]一种实时图像超分辨率IP核及系统

说明书

本发明公开了一种实时图像超分辨率IP核及系统，包括：图像行缓存器、Bicubic运算流水线和像素重对齐模块；图像行缓存器，用于对输入的图像进行图像行缓存并发送至所述Bicubic运算流水线，还用于对输入图像的顶部和底部的边缘进行填充以维持图像放大后的大小；Bicubic运算流水线，用于对图像行进行原始像素块缓存和垂直翻转，并采用分离式乘法器和多输入加法器执行Bicubic图像超分辨算法获得超分辨像素；像素重对齐模块，用于将超分辨像素进行重新对齐并输出，使乘法器的资源消耗减半，减少布线长度，提高IP性能；该系统在边缘低功耗节点上使用FPGA或ASIC，嵌入本发明的实时图像超分辨率IP核，可实现实时图像超分辨率，功耗低、资源占用少。

技术领域

本发明涉及图像超分辨率技术领域，更具体的说是涉及一种实时图像超分辨率IP核及系统。

背景技术

目前，显示设备的分辨率越来越高，输出高分辨率HR图形已成为各种图像处理系统的一般能力之一；然而，直接处理HR图形使处理或渲染系统在资源、带宽和存储方面面临更大的挑战。

如果图形可以在低分辨率(LR)下处理或渲染，系统的资源消耗可以减少。然后，一个规模子系统可以使用超级分辨率算法将图形放大到HR。Nvidia的深度学习超级采样(DLSS)、AMD的FideltiyFX超级分辨率(FSR)和英特尔的Xe超级采样(XeSS)都是使用超级分辨率技术在LR渲染下获得HR图形的成熟方法，而将图像超分辨率技术应用于各种设备，需要有专用的图像超分辨率加速芯片和IP核。

但是，现有的图像超分辨率算法主要依托于通用计算硬件，如CPU和GPU，这些硬件为通用计算而设计，功耗、面积和成本都很高，在有一定要求的边缘节点，如监控摄像头、内窥探头等上进行部署相当困难。

因此，如何提供一种功耗低且占用资源少的实时图像超分辨率IP核及系统是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种实时图像超分辨率IP核及系统已解决背景技术中提到的问题。

为了实现上述目的，本发明采用如下技术方案：

一种实时图像超分辨率IP核，包括：图像行缓存器、Bicubic运算流水线和像素重对齐模块；所述图像行缓存器、所述Bicubic运算流水线和所述像素重对齐模块依次相连；

所述图像行缓存器，用于对输入的图像进行图像行缓存并发送至所述Bicubic运算流水线，还用于对输入图像的顶部和底部的边缘进行填充以维持图像放大后的大小；

所述Bicubic运算流水线，用于对所述图像行进行原始像素块缓存和垂直翻转，并采用分离式乘法器和多输入加法器执行Bicubic图像超分辨算法获得超分辨像素；

所述像素重对齐模块，用于将所述超分辨像素进行重新对齐并输出。

优选的，所述的一种实时图像超分辨率IP核，还包括控制器，所述控制器分别与所述图像行缓存器和所述Bicubic运算流水线相连，用于对所述图像行缓存器和所述Bicubic运算流水线发送控制信号进行工作和复位。

优选的，所述Bicubic运算流水线包括超分辨率像素块缓存器、对称多路复用器、乘加单元和多输入加法单元；

所述超分辨率像素块缓存器与所述图像行缓存器相连，所述超分辨率像素块缓存器、所述对称多路复用器、所述乘加单元和所述多输入加法单元依次相连；

所述超分辨率像素块缓存器，用于对超分辨率像素所需的原始像素块进行缓存并发送至所述对称多路复用器，还用于对图像左侧和右侧边缘的填充以维持图像放大后的大小；

所述对称多路复用器，用于对超分辨率像素块缓存器输出的像素矩阵进行垂直翻转并发送至所述乘加单元；