[发明专利]图像超分辨率重建方法、装置、设备及存储介质

说明书

本申请实施例公开了一种图像超分辨率重建方法、装置、设备及存储介质，涉及图像处理领域，其包括：获取视频数据中连续的N帧待处理图像，所述待处理图像为低分辨率图像，N≥2，N帧所述待处理图像中包含当前帧待处理图像；对N帧所述待处理图像进行对齐处理，得到N帧对齐图像；确定每帧所述对齐图像对应的一致性像素集合；基于所述一致性像素集合对N帧所述对齐图像进行一致性处理，以得到N帧一致性图像；将N帧所述一致性图像作为神经网络模型的输入，以得到所述当前帧待处理图像的超分辨率重建图像。采用上述方法可以解决现有技术中，利用图像配准进行超分辨率重建时产生的误配准易影响超分辨率重建效果的技术问题。

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种图像超分辨率重建方法、装置、设备及存储介质。

背景技术

超分辨率是通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。现有技术中，通常对视频数据中每一帧图像进行超分辨率重建，但是，这种方法没有充分考虑视频中相邻帧图像之间的信息，使得超分辨率重建的效果有限。为了有效利用相邻帧图像之间的信息，现有技术中对视频数据中连续的多帧图像进行配准(即图像对齐)，之后，利用配准后图像中亚像素不对齐的信息进行超分辨率重建。发明人在实现本发明的过程中，发现现有技术存在如下缺陷：当多帧图像中存在被遮挡的区域或者运动的区域时，多帧图像的配准过程很容易出现误配准的情况，这会大大影响超分辨率重建的效果。

发明内容

本申请实施例提供了一种图像超分辨率重建方法、装置、设备及存储介质，以解决现有技术中，利用图像配准进行超分辨率重建时产生的误配准易影响超分辨率重建效果的技术问题。

第一方面，本申请实施例提供了一种图像超分辨率重建方法，包括：

获取视频数据中连续的N帧待处理图像，所述待处理图像为低分辨率图像，N≥2，N帧所述待处理图像中包含当前帧待处理图像；

对N帧所述待处理图像进行对齐处理，得到N帧对齐图像；

确定每帧所述对齐图像对应的一致性像素集合；

基于所述一致性像素集合对N帧所述对齐图像进行一致性处理，以得到N帧一致性图像；

将N帧所述一致性图像作为神经网络模型的输入，以得到所述当前帧待处理图像的超分辨率重建图像。

进一步的，所述确定每帧所述对齐图像对应的一致性像素集合包括：

将每帧所述对齐图像分别作为参考图像；

计算所述参考图像中每个像素点所对应的邻域像素块与每帧所述对齐图像中具有相同像素坐标的像素点所对应的邻域像素块之间的灰度距离；

根据所述灰度距离确定所述参考图像和相应对齐图像中具有相同像素坐标的像素点之间的像素一致性程度值，并根据所述像素一致性程度值构建所述参考图像与相应对齐图像之间的子一致性像素集合；

将每帧所述参考图像对应的各所述子一致性像素集合进行组合，以得到所述参考图像的一致性像素集合。

进一步的，所述子一致性像素集合中像素坐标为(i，j)的像素点所对应的像素一致性程度值记为Map_o,n(i,j)，

其中，第n帧对齐图像为参考图像，1≤n≤N，D(i，j)表示所述参考图像中像素坐标为(i，j)的像素点对应的邻域像素块与第o帧对齐图像中像素坐标为(i，j)的像素点对应的邻域像素块之间的灰度距离，1≤o≤N，τ为设定的距离阈值。

进一步的，所述基于所述一致性像素集合对N帧所述对齐图像进行一致性处理，以得到N帧一致性图像包括：