[发明专利]一种视频超分辨率重建的方法和装置

权利要求书

1.一种视频超分辨率重建的方法，其特征在于，所述方法包括：

基于卷积神经网络和加速器框架生成多个预设分辨率对应的引擎文件，其中，所述引擎文件用于对视频进行超分辨率重建，所述预设分辨率包括横屏类分辨率和竖屏类分辨率；

基于GPU设备创建多个工作线程，设置每个所述工作线程的私有数据；

根据待重建视频的分辨率，确定目标引擎文件，并在选取的多个目标工作线程上加载所述目标引擎文件；

通过所述多个目标工作线程对所述待重建视频的视频数据进行图像推理，生成超分辨率重建后的视频数据。

2.根据权利要求1所述的方法，其特征在于，所述基于卷积神经网络和加速器框架生成多个预设分辨率对应的引擎文件，包括：

基于卷积神经网络训练生成多个预设分辨率对应的超分辨率重建模型；

对所述超分辨率重建模型进行格式转换，并将所有超分辨率重建模型输入至加速器框架，生成所述多个预设分辨率对应的重建引擎；

将所有重建引擎进行序列化处理，生成所述多个预设分辨率对应的引擎文件。

3.根据权利要求1所述的方法，其特征在于，所述根据待重建视频的分辨率，确定目标引擎文件，包括：

从生成的所有所述引擎文件中，选取对应的预设分辨率不小于待重建视频的分辨率，且与所述待重建视频的分辨率最接近的引擎文件作为目标引擎文件。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

如果生成的所有所述引擎文件对应的预设分辨率均小于待重建视频的分辨率，则选取最大预设分辨率对应的引擎文件作为目标引擎文件。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

如果生成的所有所述引擎文件对应的预设分辨率均小于待重建视频的分辨率，则对所述待重建视频的各帧图像进行分块；

针对各个图像块，分别从生成的所有所述引擎文件中，选取对应的预设分辨率不小于所述图像块的分辨率，且与所述图像块的分辨率最接近的引擎文件作为目标引擎文件。

6.根据权利要求1所述的方法，其特征在于，所述通过所述多个目标工作线程对所述待重建视频的视频数据进行图像推理，生成超分辨率重建后的视频数据，包括：

对所述待重建视频进行解码，并基于所述目标引擎文件对应的预设分辨率对解码得到的各帧视频数据进行分辨率调节；

通过所述多个目标工作线程中的引擎上下文，对调节后的所述各帧视频数据进行图像推理，并对推理结果进行分辨率恢复；

基于所述待重建视频的视频参数，对恢复后的所述推理结果进行编码，生成超分辨率重建后的视频数据。

7.根据权利要求6所述的方法，其特征在于，所述分辨率调节包括：

将所述待重建视频的各帧图像缩放至所述目标引擎文件对应的预设分辨率；

所述分辨率恢复包括：

基于所述待重建视频的分辨率和图像重建倍率，对所述推理结果进行缩放还原。

8.根据权利要求6所述的方法，其特征在于，所述分辨率调节包括：

如果所述待重建视频的分辨率小于所述目标引擎文件对应的预设分辨率，则对所述待重建视频的各帧图像进行边缘空白补充，以使各帧图像的分辨率与所述目标引擎文件对应的预设分辨率相同；

所述分辨率恢复包括：

基于所述待重建视频的分辨率和图像重建倍率，对所述推理结果进行边缘空白删除。

9.根据权利要求6所述的方法，其特征在于，所述分辨率调节包括：

如果所述待重建视频的分辨率大于所述目标引擎文件对应的预设分辨率，则依序对所述待重建视频的各帧图像进行等比例缩放和边缘空白补充，以使各帧图像的分辨率与所述目标引擎文件对应的预设分辨率相同；

所述分辨率恢复包括：

基于所述待重建视频的分辨率和图像重建倍率，对所述推理结果进行边缘空白删除和等比例缩放还原。