[发明专利]一种基于立体图建模的事件驱动视频超分辨率方法

说明书

本发明公开了一种基于立体图建模的事件驱动视频超分辨率方法，其步骤包括：1.获取视频数据和对应的事件序列，并对事件序列进行分割；2.构建像素注意力模块对图像特征进行特征提取；3.通过采样模块来重新采样初始事件的临近区域，并反复调整采样事件特征；4.通过事件图模块对每个采样事件使用邻域进行立体图建模，以聚集邻域中的局部特征，并逐渐增加整个立体流中的感受野；5.通过特征交互模块使得事件特征和图像特征进行交互。本发明能够充分利用事件数据提供的先验信息，用于驱动视频超分辨率，从而能有效提升超分辨率效果。

技术领域

本发明涉及视频超分辨率领域，具体说的是一种基于立体图建模的事件驱动视频超分辨率方法。

背景技术

视频作为计算机视觉通信中的一个重要数据源，由于物体的运动而不可避免地存在模糊，从而影响主观感受质量以及更深层次的应用。为了消除模糊的不利影响，视频去模糊已经引起了广泛的关注。由于在模糊过程中运动信息的显著损失，从运动模糊图像中恢复清晰的视频序列并不可行。最近，一种称为事件摄影机的新传感器被推荐用于记录和捕捉微秒级的场景强度变化，对事件摄像机来说，快速运动可以作为高时间速率的事件被捕获，从而为探索视频去模糊的解决方案提供了新的机会。

视频作为计算机视觉通信中的重要数据源，不可避免地会因各种外界因素而降低图像质量，影响主观感觉质量和应用的广度。为了提高图像的清晰度，视频超分辨率引起了广泛的关注。最近，一种称为事件相机的新型传感器被推荐用于记录和捕捉微秒级的场景强度变化。对于事件相机，快速运动可以被捕捉为高时间速率事件，这为探索视频超分辨率的解决方案提供了新的机会。

事件摄像机是一种新型传感器，能够通过使用预定义的阈值，以微秒的精度添加或亚跟踪信号，异步记录亮度变化。由于低延迟、低成本和高时间分辨率，事件摄像机可以应用于许多应用，例如视频插值、超分辨率、去模糊、强度图像重建和事件流去噪。然而，大多数商业活动摄像机产生相对较低的分辨率流，以实现高效率。由于高分辨率的图像/视频更有利于手势识别、目标跟踪和分类等计算机视觉任务，因此越来越多的研究人员重视事件引导强度帧的超分辨率，并取得了学术上的成功。

一般来说，基于事件的超分辨率方法可分为三类：(1)将事件传输到强度图像的网络与超分辨率算法相结合；(2)直接超分辨率事件流构建HR强度图像，无需强度辅助；(3)将混合信号(例如APS帧和事件)作为输入，以在强度图像中实现空间分辨率。然而，这些管道方法通常将事件流压缩到与视频帧具有相同通道和比例的事件帧中。这种策略使得立体事件流中的空间相关性没有得到充分利用，从而产生非真实感的结果。此外，这些方法还使用相同的过程来处理帧和事件以提取特征，忽略了稀疏事件流和密集视频帧之间的重要区别。这样，由于局部感知场和卷积层中的共享权重会扭曲大部分区域，因此事件中的稀疏特征无法正确应用。这些问题限制了基于事件的视频超分辨率原理研究的进一步发展。

发明内容

本发明为了克服现有方法的不足，提供一种基于立体图建模的事件驱动视频超分辨率方法，以在不同情景的视频超分辨率任务中能够达到更好的去模糊性能。

本发明为解决上述技术问题，采用如下技术方案：

本发明一种基于立体图建模的事件驱动视频超分辨率方法的特点是按如下步骤进行：

步骤1获取训练视频数据和对应的事件序列，并对事件序列进行分割：