[发明专利]一种便携式图像超分辨系统及系统构建方法

说明书

本发明公开了一种便携式图像超分辨系统及系统构建方法。所述PL硬件层负责构建DPU IP核、用于神经网络的推理、并对该推理过程加速；所述PS嵌入式Linux系统层负责读取和保存图片、对DPU的任务进行调度及对神经网络输出进行亚像素卷积操作、与上位机进行通信；所述客户端应用层面向用户，通过简单地操作由用户指定需要进行超分辨率的图片、获取输出的高分辨率图像及修改参数。实现了图像超分辨率的卷积神经网络在ZYNQ嵌入式平台上的部署，成功的对网络推理进行加速并得到了好地输出结果。

技术领域

本发明属于图像领域；具体涉及一种便携式图像超分辨系统及系统构建方法。

背景技术

图像超分辨率(SR)问题是计算机视觉领域的经典问题，其目的是从低分辨率(LR)图像重建恢复高分辨率(HR)图像。各种SR方法已广泛应用于工业、安全和医疗，同时在社交娱乐领域也展现出了非常好的前景。因此，图像超分辨率算问题引起了计算机视觉领域许多优秀学者的密切关注，并提出了许多优秀的图像超分辨率算法。

早期SR方法主要是基于图像插值的方法，例如最近邻插值，双线性插值和双三次插值。图像插值算法通常是通过对低分辨率图像插入新的像素点来生成高分辨率图像，该像素是对低分辨率图像的相邻像素值进行加权平均后得出的。一些更加有效的方法是利用统计到的图像先验信息来进行超分辨率处理，这些方法可以获得更多的图像细节，但同时也需要更多先验知识。

近年来，许多基于机器学习的超分辨率方法被相继提出，例如SRCNN，该方法首次成功地将神经网络技术引入了超分辨率问题。该方法使用了网络的轻量级结构，但是获得了比当时最先进的方法更高的结果质量。FSRCNN使用1x1卷积来扩展和缩小特征图的数量，且不同于SRCNN，不是将插值后的伪高分辨率图输入到网络中，该方法通过反卷积层放大图像，大大降低了训练与推理的时间成本。ESPCN提出了一种亚像素卷积的新上采样方法，同样降低了训练与推理的时间成本，并得到了更好的质量的输出结果。

尽管现有的基于机器学习的方法取得了非常出色的成绩，但它仍然存在以下缺陷：(1)传统网络模型的参数量与计算量庞大，计算所消耗的时间与功耗均不理想，同时这也限制了其在嵌入式平台上的应用(2)由于为了取得更好的输出质量，传统网络通常更倾向于增加网络深度与宽度，这就导致其训练与部署困难(3)由于网络训练阶段要求的数据精度较高，因而采用float32或float64的数据格式，而网络的推理阶段使用高精度数据带来的输出质量提升十分微弱。

发明内容

本发明提供了一种便携式图像超分辨系统及系统构建方法，实现了图像超分辨率的卷积神经网络在ZYNQ嵌入式平台上的部署，成功的对网络推理进行加速并得到了好地输出结果。

本发明通过以下技术方案实现：

一种便携式图像超分辨系统，所述系统包括PL硬件层、PS嵌入式Linux系统层和客户端应用层，所述PL硬件层负责构建DPU IP核、用于神经网络的推理、并对该推理过程加速；所述PS嵌入式Linux系统层负责读取和保存图片、对DPU的任务进行调度及对神经网络输出进行亚像素卷积操作、与上位机进行通信；所述客户端应用层面向用户，通过简单地操作由用户指定需要进行超分辨率的图片、获取输出的高分辨率图像及修改参数。

一种便携式图像超分辨系统的系统构建方法，所述系统构建方法包括构建PL端逻辑的步骤、进行嵌入式Linux定制与移植的步骤、卷积神经网路模型的设计训练与部署的步骤、构建下位机的控制的步骤与构建DPU网络加速推理的步骤。

进一步的，所述构建PL端逻辑的步骤具体为，

步骤S2.1：DPU IP核的集成与连接；所述DPU IP核采用低RAM消耗的模式，DSP切片消耗模式设置为高，且不使用深度方向卷积；DSP切片的工作频率需固定为DPU工作频率的两倍；

步骤S2.2：按照开发板原理图对ZYNQ核进行配置。