[发明专利]一种脉冲相机模拟方法与装置

说明书

本申请涉及计算成像技术领域，具体而言，本申请涉及一种脉冲相机模拟方法与装置。所述方法包括以下步骤：确定欲模拟的一个采样时间段内各像素点的相对运动速度，并初始化传感器像素的尺寸；计算所模拟的采样时间段内各像素的光子累积量，并将所述光子累积量转换为电子累积量；根据所述电子累积量，更新传感器每个像素上的电子总累积量；将所述电子总累积量与预设的阈值进行比较，如果达到或超过所述阈值则进行脉冲发放，并生成相应的脉冲序列；获取与脉冲序列相对应的基准图序列。本申请提出的方法与装置可以同时产生脉冲序列和其所对应的基准图像序列，从而为脉冲相机在算法原型、深度学习和算法基础测试等方面的技术提供了数据保障。

技术领域

本申请涉及计算成像技术领域，更为具体来说，本申请涉及一种脉冲相机模拟方法与装置。

背景技术

传统数字相机通常以固定帧率进行拍摄成像，每一帧图像按照以下方式生成：在一定的曝光时间窗内，图像传感器的每个像素对入射光进行光电转换和电荷累积，曝光结束后经过模数转换得到该像素的光照总量。由于曝光时间窗内的信息叠加在一起进行记录，这种方式无法对高速物体进行有效成像，往往导致高速运动物体的成像模糊。

近年来，生物视网膜中央凹的神经元连接结构和神经节细胞的积分发放模型为视觉采样提供了新的思路。通过对视网膜中央凹的模拟和抽象，一种包含光感受器、积分器和阈值比较器的脉冲相机被提出。脉冲相机以脉冲阵列的形式表示视觉信息，能够持续记录光强的变化，不存在曝光时间窗口的概念，突破了传统相机的局限性，可以实现对高速运动的捕捉和记录。近年来，脉冲相机得到了广泛的关注，如基于脉冲相机的高速场景重建、高速运动物体识别及高速运动物体追踪等。

然而，当前阶段脉冲相机设备处于稀缺状态，且脉冲数据的采集过程较为费时，导致研究者无法轻易获得自己所需的脉冲数据；另一方面，目前已公开的脉冲数据相对有限，涵盖的场景也相对较少，并且这些数据不能提供所拍摄场景的真值(Ground Truth)图像。

因此，本申请提出一种改进的方法与装置，以至少部分地解决上述技术问题。

发明内容

为实现上述技术目的，本申请提供了一种脉冲相机模拟方法，包括以下步骤：

确定欲模拟的一个采样时间段内各像素点的相对运动速度，并初始化传感器像素的尺寸；

计算所模拟的采样时间段内各像素的光子累积量，并将所述光子累积量转换为电子累积量；

根据所述电子累积量，更新传感器每个像素上的电子总累积量；

将所述电子总累积量与预设的阈值进行比较，如果达到或超过所述阈值则进行脉冲发放，并生成相应的脉冲序列；

获取与脉冲序列相对应的基准图序列。

具体地，所述确定欲模拟的一个采样时间段内各像素点的相对运动速度，并初始化传感器像素的尺寸，包括：

根据所采用的运动模型和参数，确定欲模拟的一个采样时间段内，各像素点的相对运动速度；

根据需要对场景捕捉的精细程度，初始化传感器像素的尺寸，所述传感器像素的尺寸为传感器像素与代表光学场景的图像或视频序列中像素边长的比值。

优选地，所述运动模型为平移、旋转或缩放。

进一步地，所述计算所模拟的采样时间段内各像素的光子累积量，并将所述光子累积量转换为电子累积量，包括：

计算光学场景中各点对传感器各像素点在第k个光累积时段内的作用时间长度