[发明专利]图像处理方法及装置

权利要求书

1.一种图像处理方法，其特征在于，包括：

对于第i帧图像，获取位于第i帧图像前的m帧图像和第i帧图像后的n帧图像；其中，所述第i帧图像、所述m帧图像、所述n帧图像均为分辨率低于或等于预设分辨率的低分辨率图像；

将所述第i帧图像、所述m帧图像、所述n帧图像输入初始超分辨率重建网络；

在所述初始超分辨率重建网络中，根据所述第i帧图像、所述m帧图像、所述n帧图像进行高分辨率重建得到所述第i帧图像对应的初始高分辨率图像；其中，所述初始高分辨率图像为分辨率超过所述预设分辨率的图像；

在所述初始超分辨率重建网络中，根据所述初始高分辨率图像和像素间平滑约束条件确定所述第i帧图像对应的最终高分辨率图像；其中，所述最终高分辨率图像为分辨率超过所述预设分辨率的图像。

2.根据权利要求1所述的方法，其特征在于，所述在所述初始超分辨率重建网络中，根据所述初始高分辨率图像和像素间平滑约束条件确定所述第i帧图像对应的最终高分辨率图像，包括：

在所述初始超分辨率重建网络中，确定所述初始高分辨率图像中像素间的平滑性，直至所述平滑性满足所述像素间平滑约束条件，结束高分辨率重建过程，得到目标超分辨率重建网络；

将所述第i帧图像、所述m帧图像、所述n帧图像输入所述目标超分辨率重建网络；

在所述目标超分辨率重建网络中，根据所述第i帧图像、所述m帧图像、所述n帧图像进行高分辨率重建得到所述第i帧图像对应的最终高分辨率图像。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述初始超分辨率重建网络中，确定所述初始高分辨率图像的总变分；

将最小化所述总变分作为所述像素间平滑约束条件。

4.根据权利要求3所述的方法，其特征在于，所述在所述初始超分辨率重建网络中，确定所述初始高分辨率图像的总变分，包括：

在所述初始超分辨率重建网络中，根据公式确定所述初始高分辨率图像的总变分；其中，J为总变分，D_u为所述初始高分辨率图像的支持域，u(x，y)为位于坐标(x，y)的像素点，u_x为位于坐标(x，y)的像素点的x方向的偏导，u_y为位于坐标(x，y)的像素点的y方向的偏导，∫·dxdy为求积分。

5.根据权利要求1所述的方法，其特征在于，所述在所述初始超分辨率重建网络中，根据所述第i帧图像、所述m帧图像、所述n帧图像进行高分辨率重建，得到所述第i帧图像对应的初始高分辨率图像，包括：

在所述初始超分辨率重建网络中，将所述第i帧图像、所述m帧图像、所述n帧图像分别下采样到原图像的第一预设大小；

在所述初始超分辨率重建网络中，根据所述第一预设大小的第i帧图像、所述第一预设大小的m帧图像、所述第一预设大小的n帧图像进行高分辨率重建，得到所述第一预设大小的重建图像；

在所述初始超分辨率重建网络中，将所述第一预设大小的重建图像上采样到第二预设大小，得到所述第i帧图像对应的初始高分辨率图像。

6.根据权利要求1所述的方法，其特征在于，所述在所述初始超分辨率重建网络中，根据所述第i帧图像、所述m帧图像、所述n帧图像进行高分辨率重建，得到所述第i帧图像对应的初始高分辨率图像，包括：

在所述初始超分辨率重建网络中，对所述第i帧图像、所述m帧图像、所述n帧图像分别进行去模糊处理；

在所述初始超分辨率重建网络中，根据去模糊后的第i帧图像、去模糊后的m帧图像、去模糊后的n帧图像进行高分辨率重建，得到所述第i帧图像对应的初始高分辨率图像。