[发明专利]一种基于事件数据驱动的视频去模糊方法

权利要求书

1.一种基于事件数据驱动的视频去模糊方法，其特征是按如下步骤进行：

步骤1获取训练视频数据和对应的事件序列，并对事件序列进行分割：

步骤1.1获取训练视频数据集：

获取真实的模糊视频图像集，记为X＝{x₁,x₂,…,x_i,…,x_N}，其中，x_i表示第i张模糊图像，i＝1,2,…,N，N为模糊图像的帧数量；

获取真实的清晰视频图像集，记为Y＝{y₁,y₂,…,y_i,…,y_N}，其中，y_i表示第i张清晰图像，i＝1,2,...,N，N为正常图像的总数；

令I＝{X,Y}表示训练图像数据集；

步骤1.2对事件序列进行分割：

获取真实的模糊图像集X的真实事件序列；

将真实的模糊视频图像集X输入事件仿真器中并生成合成的事件序列；

根据真实的模糊视频图像集X中所包含的帧数量N，将真实事件序列和合成的事件序列分别划分成相同数量N的分段序列，记为E＝{e₁,...,e_i,...,e_N},e_i表示第i张模糊图像x_i所对应的真实和合成的事件序列，i＝1,2,...,N，N为事件序列的总数；

步骤2构建视频去模糊神经网络，包括：编码网络、时间记忆模块、空间融合模块、解码网络；

步骤2.1、所述编码网络由M个残差模块和M个下采样层交替排列组成，其中，残差模块具有m个卷积层及其对应的跳线连接，卷积核大小为均为ks，步长均为s，各卷积层之间依次连接有LeakRelu层和批归一化层；

所述第i张模糊图像x_i经过所述编码网络的处理后，生成M个不同尺度的图像特征其中，u_im表示第i张模糊图像x_i在第m个尺度的图像特征；

步骤2.2、所述时间记忆模块包括一个公用的卷积层、两个专用的卷积层、记忆单元；

第i-1个事件序列e_i-1和第i+1个事件序列e_i+1输入公用的卷积层中进行处理，得到两者的公共特征，再分别经过两个专用的卷积层的处理，相应得到第i-1个事件序列e_i-1的键和值以及第i+1个事件序列e_i+1的键和值；

所述记忆单元将第i-1个事件序列e_i-1的键和值以及第i+1个事件序列e_i+1的键和值进行拼接后，再分别输入两个卷积核为1×1的卷积层中，输出两个卷积结果后再通过乘积运算得到第i个事件序列e_i与相邻事件序列e_i-1和e_i+1的关联特征图；最后将所述关联特征图与第i个事件序列e_i相加后，得到第i个事件特征图C_i；

步骤2.3、所述空间融合模块包括M+1个下采样层、M个上采样层、一个卷积核为1×1的卷积层和融合单元；

所述M个不同尺度的图像特征输入所述空间融合模块中，并分别通过M个下采样层的处理，从而将M个不同尺度的图像特征调整为相同比例的图像特征，再经过一个卷积核为1×1的卷积层后获得第i个特征图F_i；

所述第i个事件特征图C_i通过第M+1个下采样层的处理后，得到下采样后的第i个事件特征图C′_i；

所述融合单元利用式(1)对所述下采样后的第i个事件特征图C′_i和第i个特征图F_i进行处理，从而得到第i个融合特征图Feat_i中第p个像素点的特征进而得到第i个融合特征图Feat_i：

式(1)中，p、q是位置索引，表示第i个事件特征图C′_i在p位置处的特征值，F_i^q表示第i个特征图F_i在q位置处的特征值，S为特征图的像素点总数；g(·)表示卷积操作；f(·,·)表示乘积函数，并有：

式(2)中，θ(·)和均表示卷积操作；

所述第i个融合特征图Feat_i分别经过M个上采样层的处理后，获得M个不同尺度的映射特征其中，v_im表示第i张模糊图像x_i在第m个尺度的图像特征；

步骤2.4、所述解码网络由M个残差模块和M个上采样层交替排列组成，其中，残差模块具有m个卷积层及其对应的跳线连接，卷积核大小为均为ks，步长均为s，各卷积层之间依次连接有LeakRelu层和批归一化层；

所述M个不同尺度的映射特征经过所述解码网络的上采样层处理，获得M个尺度一致的特征图并进行拼接之后，再经过一个卷积操作，从而生成清晰图像

步骤3、利用式(3)构建反向传播的损失函数L：

式(3)中，K为生成清晰图像的像素点数，为第i个模糊图像经过神经网络生成的去模糊图像的第k个像素点，为清晰视频图像集中第i个图像切片对应的第k个像素点；

步骤4、基于真实的模糊图像集X及其分段序列E对视频去模糊神经网络进行训练，并计算损失函数L，同时使用自适应矩估计优化方法以学习率lr_s来更新静态检测网络权值，当训练迭代次数达到设定的次数或损失误差达小于所设定的阈值时，训练停止，从而得到最优的去模糊模型；以所述最优的去模糊网络对模糊视频图像进行处理，并获得对应的清晰图像。