[发明专利]一种基于事件数据驱动的视频去模糊方法

说明书

本发明公开了一种基于事件数据驱动的视频去模糊方法，其步骤包括：1获取视频数据和对应的事件序列，并对事件序列进行分割；2构建编码网络对图像数据进行特征提取；3通过时间记忆模块计算相邻事件序列的关联性，提取时间特征；4通过空间融合模块将事件特征和图像特征进行空间尺度的融合；5构建解码网络生成去模糊之后的视频帧。本发明能够充分利用事件数据提供的时空先验信息，用于驱动视频去模糊，从而有效提升去模糊效果。

技术领域

本发明涉及视频去模糊领域，具体说的是一种基于事件数据驱动的视频去模糊方法。

背景技术

视频作为计算机视觉通信中的一个重要数据源，由于物体的运动而不可避免地存在模糊，从而影响主观感受质量以及更深层次的应用。由于在模糊过程中运动信息的显著损失，从运动模糊图像中恢复清晰的视频序列并不可行。最近，一种称为事件摄影机的新传感器被推荐用于记录和捕捉微秒级的场景强度变化，对事件摄像机来说，快速运动可以作为高时间速率的事件被捕获，从而为探索视频去模糊的解决方案提供了新的机会。传统相机的拍摄过程需要一个曝光时间，这个帧率极大地限制了事件捕获的延迟，如果物体存在高速运动，就会产生模糊；并且过曝现象也很常见，在光线极差或者亮度极高时，相机获取的信息有限，丢失了应有的细节。

由于卷积神经网络(CNNs)的成功，基于事件驱动的去模糊技术已被广泛开发并取得了相对较好的性能。然而，这些方法仍有一些局限性。一方面，现有的视频去模糊网络直接利用事件作为额外先验，而不考虑不同事件之间的相关性。这些网络通过将强度变化压缩为一个时间步长来实现一个独立的特征映射，因此时间信息将丢失，并且无法充分利用事件的高时间分辨率。另一方面，大部分网络只是将模糊帧和事件的特征图连接起来作为卷积神经网络的输入，忽略了丰富的亮度变化信息以及事件和视频帧之间的空间一致性。此外，现有的视频去模糊网络通常基于视频中连续模糊帧的假设，并设计基于卷积神经网络和基于循环神经网络的架构，其中编码器-解码器体系结构是作为基本主干的最流行的选择。然而，一个常见的事实是，模糊并不是连续出现在视频中，即模糊中的某些帧视频非常清晰。这些锐利的帧实际上可以被用来帮助恢复模糊的帧，但在现有的视频去模糊方法中，它们被难以区分地处理，也会导致锐利的纹理丢失。事件驱动的恢复优化方法在很大程度上依赖于事件的使用，其中设计了各种架构。在这些方法中，用于利用事件的模块不容易与现有的图像和视频去模糊方法合作，从而限制了视频去模糊和事件驱动去模糊的原则框架的发展，这些问题限制了基于事件的视频去模糊原理研究的进一步发展。

发明内容

本发明为了克服现有方法的不足之处，提供一种基于事件数据驱动的视频去模糊方法，以期能在不同情景的视频去模糊任务中达到更好的去模糊性能，从而有效提升去模糊效果。

本发明为解决上述技术问题，采用如下技术方案：

本发明为一种基于事件数据驱动的视频去模糊方法的特点是按如下步骤进行：

步骤1获取训练视频数据和对应的事件序列，并对事件序列进行分割：

步骤1.1获取训练视频数据集：

获取真实的模糊视频图像集，记为X＝{x₁,x₂,…,x_i,…,x_N}，其中，x_i表示第i张模糊图像，i＝1,2,…,N，N为模糊图像的帧数量；

获取真实的清晰视频图像集，记为Y＝{y₁,y₂,…,y_i,…,y_N}，其中，y_i表示第i张清晰图像，i＝1,2,...,N，N为正常图像的总数；

令I＝{X,Y}表示训练图像数据集；

步骤1.2对事件序列进行分割：

获取真实的模糊图像集X的真实事件序列；