[发明专利]一种面向实时视频会话业务的超分辨率重建方法

说明书

本发明提供一种面向实时视频会话业务的超分辨率重建方法，涉及数字图像处理技术领域。该方法重新设计超分的各个模块，首先特征提取模块采用由粗到精的特征提取，采用残差的思想，加快特征提取的速度，将可变形卷积引入到视频超分辨率重建方法之中，通过循环神经网络的思想，对帧差学习模块进行动态调优从而获得一个最优对齐参数，用最优参数指导可变形卷积进行对齐操作，然后设计一个增强相关性的特征融合网络，进行相邻帧的特征融合，最后采用信息蒸馏的思想对重建模块进行设计，设计出上采样重建模块，利用信息蒸馏块提取更多边缘及纹理特征，与上采样的参考帧进行加和，生成最后的高分辨率视频帧。本发明的方法重建速度快，且重建质量好。

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种面向实时视频会话业务的超分辨率重建方法。

背景技术

近年来，随着移动通信和智能设备的快速发展，尤其是今年疫情下，实时视频会议、远程教育等应用已经成为大部分人们生活之中必不可少的一部分。正是由于人与人之间通过视频进行交互，所以人们对视频质量的要求也就变得越来越高。那么如何获取、传输及显示质量更好的高分辨率视频就变得越来越重要。然而在既满足视频业务需求又满足视频质量的前提下，存在两方面的挑战。

一方面，从硬件角度来说，目前视频捕获设备已经发展的很完备了，市场上也有各种分辨率的视频捕获设备，如720P、1080P等。对于捕获高分辨率视频，是一件容易的事。然而，对于交互式的视频业务，如视频会议来说，就会存在一种捕获与显示设备分辨率不适配进而导致视频质量下降的问题。例如视频的捕获设备的分辨率为720P，而显示设备的分辨率为1080P，这种不适配，就会导致视频的质量下降。

另一方面，从传输角度来说，在视频编码格式H.265标准下，1080P的高清视频序列需要的码率为5Mbps,4K视频序列需要的码率为20Mbps,8K视频序列则需要的码率为85Mbps。然而前几年M-Lab及其他机构的报告表示中国的平均带宽速度还不到2.5Mbps，在这种传输条件有限的情况下，传输实时的高分辨率视频，这种做法是不可靠的。解决这一问题最好的办法就是降低分辨率来调节码率。具体做法为编码前对视频帧进行连续的下采样，在解码后对视频进行上采样，提高视频分辨率。但上采样并不能恢复出更好的视频效果，恢复的视频质量仍然很差。

综上，对于实时视频会话来说，无论是硬件角度的分辨率适配问题还是传输角度的码率调控引起的分辨率下降的问题，使用超分辨率重建技术都会使其被更快和更有效的解决。但是，目前大多数视频超分辨率重建技术都是基于流媒体视频业务的，由于其计算量大，无法应用于实时会话类视频业务。

实时超分方法一般要满足以下两个要素：网络计算量小，网络重建质量好。但是将现有的视频超分方法应用于实时视频会话业务之上，会遇到两方面问题，一方面是方法可以达到实时性，但是重建质量非常差，例如VESPCN，虽然速度很快，但由于光流估计的准确性不能保证，所以重建质量很差。另一方面是方法重建质量比较好，但是不能达到实时性的要求，例如STVSR、FRVSR等网络，为了取得更好的重建效果，STVSR、FRVSR等网络将剧烈运动及严重模糊考虑在内，设计了非常复杂的网络架构，需要大量的运算，进而花费大量的时间用于视频的超分辨率重建，不能满足视频会话实时性的要求。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种面向实时视频会话业务的超分辨率重建方法，来解决适配问题及传输导致的视频质量下降问题，重建速度快，在速度上满足实时性，且重建质量好。

为解决上述技术问题，本发明所采取的技术方案是：

一种面向实时视频会话业务的超分辨率重建方法，具体步骤如下：

步骤1：训练与测试数据的准备；

采取两种训练数据同时进行训练，即公共数据训练集和以视频会话为场景的数据训练集；并选取两种数据集进行测试，分别是公共数据测试集和以视频会话为场景的数据测试集；