[发明专利]一种基于立体图建模的事件驱动视频超分辨率方法

权利要求书

1.一种基于立体图建模的事件驱动视频超分辨率方法，其特征是按如下步骤进行：

步骤1获取训练视频数据和对应的事件序列，并对事件序列进行分割：

步骤1.1获取真实的低分辨率视频图像集，并以帧为单位进行存储，记为X＝{x₁,x₂,...,x_i,...,x_N}，其中，x_i表示第i帧低分辨率图像，i＝1,2,...,N，N为低分辨率图像的帧数；获得低分辨率视频图像集X对应的事件序列，并根据帧数N将所述事件序列划分成对应数量的事件序列，记为E＝{e₁,e₂,...,e_i,...,e_N}，e_i表示第i帧低分辨率图像所对应的事件序列；

获取高分辨率视频图像集，以帧为单位进行存储，记为Y＝{y₁,y₂,...,y_j,...,y_N}，其中，y_j表示第j帧清晰图像；

令I＝{X,E,Y}表示训练图像数据集；

步骤2构建视频超分辨率神经网络，包括：像素注意力模块、采样模块、事件图模块、特征交互模块和解码模块；

步骤2.1构建像素注意力模块并用于对图像数据进行特征提取：

所述像素注意力模块由5个卷积层和1个sigmoid函数组成，各个卷积层中的卷积核大小为均为ks，步长均为s；

所述第i帧低分辨率图像x_i输入所述像素注意力模块中，并分别使用第1个卷积层进行处理，从而获得第i帧低分辨率图像x_i的键key_i和值value_i；其中，键key_i经过第2个卷积层的处理，得到字典键；同时，键key_i经过第3个卷积层和1个sigmoid层的处理，得到查询键，对所述字典键和查询键进行乘积操作后得到关联矩阵A_i,key；

值value_i经过1个卷积层后，得到处理后的值value_i′，并与关联矩阵A_i,key进行相乘，得到第i张低分辨率图像x_i的图像特征C表示通道数；

步骤2.2第i帧低分辨率图像所对应的事件序列e_i输入所述采样模块中进行采样处理：

步骤2.2.1将第i个事件序列e_i进行3D体素化后再平均分成H个块，然后对每个块进行平均处理，得到H个采样后的事件关键点，令第h个事件关键点记为

步骤2.2.2将第h个事件关键点的三维坐标设置为事件特征feat_i,h，以第h个事件关键点之外的区域作为其邻域

步骤2.2.3利用式(1)对第h个事件关键点对应的事件特征feat_i,h进行更新，从而得到更新后的第h个事件关键点的事件特征feat′_i,h：

feat′_i,h＝Up(Conv(feat_i,h)) (1)

式(1)，Conv表示局部的卷积操作，Up表示上采样操作；

步骤2.3所述事件图模块利用式(2)对所有事件关键点的事件特征{feat′_i,h}_H进行立体图形操作，从而得到第i个事件序列e_i的全局事件特征

式(2)中，{feat′_i,h}_H代表第i个事件序列e_i的所有事件关键点对应的事件特征；Up表示上采样操作，Conv表示卷积操作；feat′_i,q表示第q个事件关键点的事件特征；表示乘积函数，并有：

步骤2.4构建所述特征交互模块并用于融合事件特征和图像特征：

所述特征交互模块包括x个下采样层和y个共享权重的卷积层；

图像特征和全局事件特征输入所述特征交互模块中，经过x个下采样层和y个共享权重的卷积层之后，并利用式(4)得到第g组的共同特征从而得到第i个事件序列e_i和第i张低分辨率图像x_i的共同特征

式(3)中，·,·表示内积，表示全局事件特征中第g组特征，G表示组数；

步骤2.5所述特征交互模块用于输出最后的高分辨率图像；

步骤2.5.1定义迭代次数为p，并初始化p＝1；定义最大迭代次数为P；将所述第i个事件序列e_i和第i张低分辨率图像x_i的共同特征作为第p次迭代的输入数据；

步骤2.5.2将第p次迭代的输入数据分别输入像素注意力模块和事件图模块中进行处理；并相应得到第p次迭代的全局事件特征和图像特征；

步骤2.5.3所述第p次迭代的全局事件特征和图像特征经过所述特征交互模块的处理后，得到第p+1次迭代的输入数据；

步骤2.5.4将p+1赋值给p后，判断p＞P是否成立，若成立，则将第p+1次迭代的输入数据输入所述解码模块中进行处理，从而获得第j帧高分辨率预测图像否则，将返回步骤2.5.2顺序执行；

步骤3、利用式(5)构建反向传播的损失函数L_MSE：

式(3)中，R为所述第j帧高分辨率预测图像的像素点数，为第i个低分辨率图像x_i经过神经网络生成的高分辨率图像的第r个像素点，为高分辨率视频图像集Y中第i个高分辨率图像y_i对应的第r个像素点；

步骤4、基于低分辨率图像集X及其事件序列E对所述视频超分辨率神经网络进行训练，并计算损失函数L_MSE，同时以学习率lr_s来更新网络权值，当训练迭代次数达到设定的次数或损失误差达小于所设定的阈值时，训练停止，从而得到最优的超分辨率模型；以所述最优的超分辨率网络对低分辨率视频图像及其对应的事件序列进行处理，从而获得对应的高分辨率视频图像。