[发明专利]一种事件图像的分辨率增强方法及系统

说明书

本发明提供一种事件图像的分辨率增强方法及系统。方法包括：S1，将事件图像分为第一类事件流和第二类事件流；S2，对于每一类事件流，根据每一类事件流的事件数量分布矩阵和发放率函数，基于拒绝采样算法，获取每一像素的目标事件序列；S3，将第一类事件流的所有像素的目标事件序列与第二类事件流的所有像素的目标事件序列进行合并，以获取对事件图像进行分辨率增强之后的增强事件图像。通过拒绝采样算法采样出每一种极性事件流所对应的增强事件流的每个像素的事件序列，进而实现对低分辨率事件图像的分辨率增强。填补了事件图像分辨率增强领域的空白，并有效地提高了事件图像的分辨率，有利于事件图像的各种应用。

技术领域

本发明涉及图像处理技术领域，更具体地，涉及一种事件图像的分辨率增强方法及系统。

背景技术

事件相机是一种模拟生物视网膜信息编码方法的器件，其信息输出是以时空事件流的形式输出。图1为事件相机的工作原理示意图，如图1所示，图1(a)示出了事件相机所要记录的一个旋转的圆点的旋转过程，图1(b)示出了事件相机输出的事件流，图1(c)示出了在某一时刻将时空事件累加在一个二维图上的模式显示。

基于硅的事件相机又叫硅视网膜或动态视觉传感器(Dynamic Vision Sensor,DVS)。传统基于帧的相机是以恒定的时间间隔(帧周期)获取光强度信息(灰度或彩色像素值)，不同于传统基于帧的相机，事件相机检测光场中何时和何处发生强度变化。事件相机的数据输出格式以地址事件表示(Address-Event Representation,AER)的事件流形式输出。在AER格式中，事件e表示成一个四元组(x,y,t,p)。每个事件由生成事件的像素的物理地址(x,y)，事件的时间戳(t)和极性(p)组成，表示强度变化是增加的还是减小的，即p∈{-1,1}。事件相机的像素阵列将视觉场景以一种异步且独立的方式产生地址事件输出，减少数据冗余。事件相机具有两个关键生物视觉属性：稀疏性和事件流编码的产出。事件相机已经成功使用，其适用于各种应用：高速机器人目标跟踪、高通量数据采集、高速跟踪和立体视觉。事件相机将视觉信息编码成时空事件流的形式，具有快速、低功耗、低信息冗余和高动态范围的优点，该类型的相机模拟了生物视网膜，具备生物视网膜的优势，可广泛应用于机器人、机器视觉、无人驾驶、快速检测跟踪、三维立体视觉、无人机和安防监控等视觉应用领域。

在很多事件相机的视觉应用中，超分辨率是一个很重要的信息处理步骤。事件相机产生的图像分辨率单一、固定，甚至分辨率较低，导致显示效果模糊不清晰、物体分类识别精度低、场景强度和运动恢复不清晰等缺点。然而现在还没有针对事件图像开发的超分辨率方法。

传统的帧图像的超分辨率包括像素插值方法、基于学习的方法等，一般是从单个低分辨率二维帧图像中产高分辨率的二维帧图像，这种超分辨率方法处理的是二维的三通道彩色图像或单通道灰度图像。而事件图像是一种时空事件流的形式，因而无法直接将传统帧图像的超分辨率重建方法用于这种事件图像。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的一种事件图像的分辨率增强方法及系统。

根据本发明的一个方面，提供一种事件图像的分辨率增强方法，包括：

S1，根据事件图像中每一事件的事件极性，将所述事件图像分为第一类事件流和第二类事件流；

S2，对于每一类事件流，根据所述每一类事件流的事件数量分布矩阵和发放率函数，基于拒绝采样算法，获取每一像素的目标事件序列；

S3，将所述第一类事件流的所有像素的目标事件序列与所述第二类事件流的所有像素的目标事件序列进行合并，以获取对所述事件图像进行分辨率增强之后的增强事件图像；

其中，所述第一类事件流为正极性事件流，所述第二类事件流为负极性事件流；

所述事件数量分布矩阵中元素的数量与对应类别的事件流的像素的数量相等，每一元素表示对应的像素的事件数量；