[发明专利]基于视频帧与脉冲阵列信号的联合目标检测方法与装置

说明书

本发明公开了一种基于视频帧与脉冲阵列信号的联合目标检测方法和装置，该方法包括：将视频帧和脉冲阵列信号作为目标检测的输入；将连续的脉冲阵列信号进行自适应划分；根据视频帧频率与脉冲阵列信号划分频率的关系，进行同步融合或异步融合检测；将视频帧与脉冲阵列信号以特征表达形式进行融合；输出检测结果。本发明可有效地利用脉冲阵列信号的高时间分辨率和高动态能力来提供传统相机的目标检测精度，尤其解决高速运动模糊、过曝光或低光照等场景的检测难题。在无人驾驶视觉检测与导航、无人机巡航与定位、机器人视觉导航和视频监控等涉及高速运动领域存在广泛应用潜力。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于视频帧与脉冲阵列信号的联合目标检测方法与装置。

背景技术

目标检测的任务是找出视觉场景中所感兴趣的目标对象，确定它们的位置与大小，是机器视觉领域的核心问题，在无人驾驶视觉检测与导航、无人机巡航与定位、机器人视觉导航和视频监控等领域广泛应用。

视觉传感器相比激光雷达和超声波等，具有高的空间分辨率，同时捕获充足的视频数据，在目标检测任务占重要的地位。传统相机是基于固定曝光时间采样，有固定时间间隔对光强积分构成的视频帧(一般为30-120帧/秒)，在慢速场景和正常光照场景可捕获场景的清晰的纹理细节，然而传统相机的低时间分辨率和低动态光强感知范围，在高速运动场景容易产生运动模糊，在过曝光场景和低光照场景无法清晰成像，使得传统相机在高速运动和光照敏感场景的目标检测面临着重大挑战。此外，基于帧的高速相机存在数据冗余量大、体积大和价格昂贵等劣势。

生物视觉系统具有高清晰、低功耗、鲁棒性强等优势，同时能高效地进行光学信号处理、感知复杂场景和物体三维信息，理解和识别场景。近年来，仿视网膜传感器是模仿生物视网膜视觉通路的成像机理，目前主要有动态视觉传感器(Dynamic Vision Sensor,DVS)和超高速全时视觉传感器(UltraSpeed Fulltime Sensor,UFS)。动态视觉传感器是模拟神经元脉冲发放和视网膜外周细胞对亮度变化敏感机理的视觉传感器，发放的神经脉冲信号是以时空稀疏脉冲阵列信号描述，相对传统固定帧率相机具有高时间分辨率、高动态范围、低功耗等优势，但无法捕获场景的纹理细节；超高速全时视觉传感器是模拟视网膜中央凹清晰成像的机理，发放的神经脉冲信号是对场景的光强积分超过阈值，以时空稀疏脉冲信号全时记录视觉信息，相比传统固定帧率的相机具有高时间分辨率、高动态氛围等优势，同时相比动态视觉传感器具有捕获场景纹理细节的能力。

人类在视觉传感器上取得了重大的进步，在实际复杂的任务上而远不及生物视觉系统。传统帧率视觉传感器可采集到高清晰的图像，但数据采集存在较大冗余、感光动态范围小、固定帧率的时域分辨率低、在高速运动模糊等缺点。生物视觉系统具有高清晰、低功耗、鲁棒性强等优势，同时能高效地进行光学信号处理、感知复杂场景和物体三维信息，理解和识别场景。动态视觉传感器是模仿神经元脉冲发放和视网膜外周细胞对亮度变化敏感机理的视觉传感器，发放的神经脉冲信号是以时空稀疏脉冲阵列信号描述，相对传统固定帧率相机具有高时间分辨率、高动态范围、低功耗等优势，在无人驾驶视觉传感器、无人机视觉传感器和机器人视觉导航定位等领域有着巨大市场应用潜力。

因此，如何对时空脉冲阵列进行特征表达，并利用仿视网膜传感器的高时间分辨率、高动态范围来解决传统相机在高速运动、过光照和低光照场景的难以高精度检测的问题，并充分利用传统相机的高空间分辨率成像的优势，是当前亟待解决的问题。同时，开发对视频帧与脉冲阵列的联合目标检测方法与装置是一个亟待解决的问题。

发明内容

针对上述现有技术存在的问题，本发明实施例提供了一种解决至少部分上述问题的基于视频帧与脉冲阵列信号的联合目标检测方法与装置。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本发明的第一方面，提供一种基于视频帧与脉冲阵列信号的联合目标检测方法，包括：