[发明专利]视频流的超分辨率重建方法及装置

权利要求书

1.一种视频流的超分辨率重建方法，包括：

将视频流中的目标视频帧图像划分为多个图像块，针对于任一图像块，检测该图像块的运动状态；

统计所述目标视频帧图像中满足预设条件的图像块所占的比例；其中；所述满足预设条件的图像块包括：运动状态为静止状态或者运动缓慢的图像块；

根据所述满足预设条件的图像块所占的比例确定重建帧率，根据重建帧率确定各个待重建视频帧图像；其中，当重建帧率为第一帧率时，将每秒的视频帧图像中的各个视频帧图像确定为待重建视频帧图像；当重建帧率为第二帧率时，将每秒的视频帧图像中的N个视频帧图像确定为待重建视频帧图像；当重建帧率为第三帧率时，将每秒的视频帧图像中的M个视频帧图像确定为待重建视频帧图像；其中，N为小于每秒的视频帧图像的总数量的数值，M小于N，第二帧率小于第一帧率，第三帧率小于第二帧率；

基于预设的超分辨率网络模型，对所述各个待重建视频帧图像进行超分辨率重建，得到各个待重建视频帧图像的超分辨率重建结果；

采用预设的缩放算法对视频流逐帧进行放大，得到视频流各个视频帧图像的放大结果；

将所述各个待重建视频帧图像的超分辨率重建结果以及各个视频帧图像的放大结果进行融合，得到视频流的超分辨率重建结果。

2.根据权利要求1所述的方法，其中，所述基于预设的超分辨率网络模型，对所述各个待重建视频帧图像进行超分辨率重建，得到各个待重建视频帧图像的超分辨率重建结果进一步包括：

针对任一待重建视频帧图像，检测该待重建视频帧图像中各个图像块的运动状态以及纹理丰富程度；

根据各个图像块的运动状态以及纹理丰富程度确定目标图像块，其中，所述目标图像块包括：运动状态为静止状态或运动缓慢并且纹理丰富的图像块；

基于预设的第一超分辨率网络模型，对该待重建视频帧图像中的目标图像块进行重建，得到所述目标图像块的超分辨率重建结果；

基于预设的第二超分辨率网络模型，对该待重建视频帧图像中的其他图像块进行重建，得到所述其他图像块的超分辨率重建结果。

3.根据权利要求2所述的方法，其中，所述基于预设的第一超分辨率网络模型，对该待重建视频帧图像中的目标图像块进行重建进一步包括：

根据目标图像块所占的比例，选择相应深度的第一超分辨率网络模型，基于选择的第一超分辨率网络模型对目标图像块进行重建；

其中，目标图像块所占的比例越高，选择的第一超分辨率网络模型的深度越小。

4.根据权利要求1-3中任一项所述的方法，其中，所述将所述各个待重建视频帧图像的超分辨率重建结果以及各个视频帧图像的放大结果进行融合，得到视频流的超分辨率重建结果进一步包括：

针对任一视频帧图像的放大图像中的任一像素点，确定该像素点的放大结果的权重；以及确定该视频帧图像对应的超分辨率重建结果中该像素点的超分辨率重建结果的权重；

计算所述该像素点的放大结果以及所述该视频帧图像对应的超分辨率重建结果中该像素点的超分辨率重建结果的加权和，将加权结果确定为该像素点最终的超分辨率重建结果。

5.根据权利要求4所述的方法，其中，所述根据所述满足预设条件的图像块所占的比例确定重建帧率具体包括：

当所述满足预设条件的图像块所占的比例小于第一阈值时，确定重建帧率为第一帧率；

当所述满足预设条件的图像块所占的比例位于第一阈值到第二阈值之间时，确定重建帧率为第二帧率；其中，第二阈值大于第一阈值；

当所述满足预设条件的图像块所占的比例大于第二阈值时，确定重建帧率为第三帧率。

6.根据权利要求5所述的方法，其中，当重建帧率为第二帧率或者第三帧率时，若该视频帧图像未被确认为待重建视频帧图像，该视频帧图像对应的超分辨率重建结果具体为：该视频帧图像之前最近的待重建视频帧图像的超分辨率重建结果。