[发明专利]视频流的超分辨率重建方法及装置

说明书

本发明公开了一种视频流的超分辨率重建方法及装置，方法包括：将视频流中的目标视频帧图像划分为多个图像块，检测图像块的运动状态；统计目标视频帧图像中运动状态为静止状态或者运动缓慢的图像块所占的比例；根据比例确定重建帧率，根据重建帧率确定各个待重建视频帧图像；基于预设的超分辨率网络模型，对各个待重建视频帧图像进行超分辨率重建，得到各个待重建视频帧图像的超分辨率重建结果；采用预设的缩放算法对视频流逐帧进行放大，得到视频流各个视频帧图像的放大结果；将各个待重建视频帧图像的超分辨率重建结果以及各个视频帧图像的放大结果进行融合，得到视频流的超分辨率重建结果。该方式实现了视频流的超分辨率重建。

技术领域

本发明涉及图像处理技术领域，具体涉及一种视频流的超分辨率重建方法及装置。

背景技术

超分辨率算法是指由低分辨率图像恢复出高分辨率图像。高分辨率图像的像素密度更高，可以提供更多的细节。单幅图像的超分辨率算法主要分为三类：基于插值的方法、基于重建的方法和基于学习的方法。

目前，比较热门的是基于学习的方法中的基于深度神经网络的方法。基于深度神经网络的超分辨率方法中，主要采用的是CNN(Convolutional Neural Network，卷积神经网络)。如输入图像分辨率为MxN，经过CNN处理后，得到s倍放大的图像。从3层的超分辨率重建卷积神经网络到20层的VDSR，再到100层左右的EDSR。随着神经网络不断加深，计算量越来越大。

但是，发明人在实现本发明的过程中发现，现有技术针对于视频流的各个视频帧图像采用单一的技术进行超分辨率重建，这种处理方式效果较差或难以达到实时性的要求。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的视频流的超分辨率重建方法及装置。

根据本发明的一个方面，提供了一种视频流的超分辨率重建方法，包括：

将视频流中的目标视频帧图像划分为多个图像块，针对于任一图像块，检测该图像块的运动状态；

统计目标视频帧图像中满足预设条件的图像块所占的比例；其中，满足预设条件的图像块包括：运动状态为静止状态或者运动缓慢的图像块；

根据满足预设条件的图像块所占的比例确定重建帧率，根据重建帧率确定各个待重建视频帧图像；

基于预设的超分辨率网络模型，对各个待重建视频帧图像进行超分辨率重建，得到各个待重建视频帧图像的超分辨率重建结果；

采用预设的缩放算法对视频流逐帧进行放大，得到视频流各个视频帧图像的放大结果；

将各个待重建视频帧图像的超分辨率重建结果以及各个视频帧图像的放大结果进行融合，得到视频流的超分辨率重建结果。

可选地，基于预设的超分辨率网络模型，对各个待重建视频帧图像进行超分辨率重建，得到各个待重建视频帧图像的超分辨率重建结果进一步包括：

针对任一待重建视频帧图像，检测该待重建视频帧图像中各个图像块的运动状态以及纹理丰富程度；

根据各个图像块的运动状态以及纹理丰富程度确定目标图像块，其中，目标图像块包括：运动状态为静止状态或运动缓慢并且纹理丰富的图像块；

基于预设的第一超分辨率网络模型，对该待重建视频帧图像中的目标图像块进行重建，得到目标图像块的超分辨率重建结果；

基于预设的第二超分辨率网络模型，对该待重建视频帧图像中的其他图像块进行重建，得到其他图像块的超分辨率重建结果。

可选地，基于预设的第一超分辨率网络模型，对该待重建视频帧图像中的目标图像块进行重建进一步包括：