[发明专利]一种面向实时视频会话业务的超分辨率重建方法

权利要求书

1.一种面向实时视频会话业务的超分辨率重建方法，其特征在于：该方法包括如下步骤：

步骤1：训练与测试数据的准备；

采取两种训练数据同时进行训练，即公共数据训练集和以视频会话为场景的数据训练集；并选取两种数据集进行测试，分别是公共数据测试集和以视频会话为场景的数据测试集；

步骤2：数据增强；

将整个训练集使用双三次插值的方法将所有视频帧进行下采样，对训练集进行平移、旋转、加噪的操作；

步骤3：设计网络结构；

首先，将连续3帧视频帧送入到基于帧差参数对齐的超分辨率重建网络，提取出参考帧和相邻帧的特征，然后通过帧差参数对齐模块将相邻帧特征进行对齐，将对齐后的特征帧送入到融合模块进行特征融合操作，最后将融合后的特征及参考帧送入到上采样重建模块重建出最后的高分辨率视频帧；具体方法为：

帧差参数对齐模块中帧差参数对齐的具体运算公式如下：

θ₁＝f_θ(F_i-1,F_i) (1)

θ₂＝f_θ(F_i+1,F_i) (2)

公式(1)、公式(2)分别表示计算相邻帧特征F_i-1、F_i+1与参考帧特征F_i之间的帧差参数，其中，f_θ表示帧差参数生成函数；

θ＝F_θ(θ₁,θ₂) (3)

公式(3)表示采用循环网络的思想，利用输出的θ₁、θ₂互相约束，求取最优的帧差参数θ；F_θ表示帧差参数优化函数；

F`_i-1＝f_dc(F_i-1,θ) (4)

F`_i+1＝f_dc(F_i+1,θ) (5)

公式(4)、公式(5)分别表示对相邻帧特征F_i-1、F_i+1进行对齐操作，分别得到对齐的相邻帧F`<sub>i-1</sub>、F`_i+1；其中，f_dc表示可变形卷积对齐操作；

融合模块进行特征融合的具体运算公式如下：

公式(6)及公式(7)表示计算相邻帧与参考帧之间的距离h，其中θ和是简单的基于卷积的滤波器实现的嵌入操作；

公式(8)及公式(9)表示帧间距离特征图与特征图像进行强化计算；

公式(10)表示对强化后的相邻帧进行特征融合；

将融合后的特征帧送入到信息蒸馏块1的增强单元中提取及收集边缘纹理信息，之后将收集到的信息送入压缩单元进有效信息筛选，再将其送入到信息蒸馏块2的增强单元中在对特征进行更精细的提取，最后再提取有效特征信息，即由粗到精的提取信息；与此同时，将提取到的有效残差信息及低分辨率参考帧进行上采样操作，放大为目标高分辨率视频帧的大小，最后将有效残差信息与上采样的低分辨率视频帧进行加和，得到最后的高分辨率视频帧；

步骤4：训练；

采用mini-batch的训练策略，对于网络权重的设置，采用高斯随机初始化来为超分网络权重赋予初值；使用Adam优化器对超分网络进行训练，最后使用PSNR和SSIM作为整个网络输出视频帧的评估指标；

步骤6：测试；

对公共数据测试集和以视频会话为场景的数据测试集分别进行测试，输入连续低分辨率图像进入卷积神经网络输出即为重建后的视频帧；

步骤7：将得到的连续超分辨率视频帧合成视频。

2.根据权利要求1所述的面向实时视频会话业务的超分辨率重建方法，其特征在于：所述视频会话的场景的多种类型包括摄像头位置、摄像头内人数，分别以单人近距离、单人中距离、单人远距离、多人近距离、多人中距离、多人远距离、多角度单人、多角度多人、像头固定的场景进行数据集的制作。