[发明专利]从动态视觉传感器立体对和脉冲散斑图案投射器进行半密集深度估计

说明书

一种用于半密集深度估计的方法包括：在电子设备接收散斑图案投射器(SPP)的控制信号，以及从动态视觉传感器(DVS)立体对的每个传感器接收像素强度改变数据的事件流，其中，事件流与SPP的控制信号时间同步。该方法还包括：对DVS立体对的每个传感器的像素强度改变数据的事件流执行投射光过滤，以生成合成事件图像数据，该合成事件图像数据具有一个或多个通道，每个通道基于像素强度改变数据的事件流的隔离部分；以及对DVS立体对的每个传感器的合成事件图像数据的至少一个通道执行立体匹配以生成用于视场的至少一部分的深度图。

技术领域

本公开总体上涉及计算机视觉。更具体地，本公开涉及从动态视觉传感器(Dynamic Vision Sensor，DVS)立体对和脉冲散斑图案投射器进行半密集深度估计的系统和方法。

背景技术

深度估计是计算机视觉中的中心问题。深度的确定对许多应用很重要，诸如面部辨识、面部跟踪、照相机姿态估计和驱动许多增强现实(AR)应用的场景的几何建模。

与实施深度估计相关联的技术挑战包括但不限于，同时推动在系统性能的多个维度(诸如等待时间、处理器功率消耗)上的深度估计的性能范围、在变化的采光条件上的性能以及在传感器的帧中没有运动时准确地估计深度的能力。

往往，性能的鲁棒性、速度和低处理器功率消耗遵守“铁三角”关系，据此，传感器或系统最多仅能够具有这三个理想的性能属性中的两个。因此，在多个性能参数上同时提高深度估计系统的性能仍然是技术挑战的源头和用于计算机视觉领域的改善的机会。

发明内容

本公开提供从动态视觉传感器(DVS)立体对和脉冲散斑图案投射器进行半密集深度估计的系统和方法。

在第一实施例中，一种用于半密集深度估计的方法包括：在电子设备接收散斑图案投射器(SPP)的控制信号，该控制信号指示作为时间的函数的、由SPP投射在视场上的预先确定的光图案的开/关状态，以及从动态视觉传感器(DVS)立体对的每个传感器接收像素强度改变数据的事件流，其中，事件流与SPP的控制信号时间同步并且包括与来自视场中的场景的光相关联的第一部分和与由SPP投射的预先确定的光图案相关联的第二部分。该方法另外包括：对DVS立体对的每个传感器的像素强度改变数据的事件流执行投射光过滤，以生成合成事件图像数据，该合成事件图像数据具有一个或多个通道，每个通道基于像素强度改变数据的事件流的隔离部分；以及对DVS立体对的每个传感器的合成事件图像数据的至少一个通道执行立体匹配以生成用于视场的至少一部分的深度图。

在第二实施例中，一种装置包括散斑图案投射器、动态视觉传感器(DVS)立体对、处理器和存储器。另外，存储器包含指令当由处理器执行时使装置用于以下的指令：接收SPP的控制信号，该控制信号指示作为时间的函数的、由SPP投射在视场上的预先确定的光图案的开/关状态，以及从动态视觉传感器(DVS)立体对中的每个传感器接收像素强度改变数据的事件流，其中，事件流与SPP的控制信号时间同步并且包括与来自视场中的场景的光相关联的第一部分和与由SPP投射的预先确定的光图案相关联的第二部分。另外地，当指令由处理器执行时，使装置：对DVS立体对的每个传感器的像素强度改变数据的事件流执行投射光过滤，以生成合成事件图像数据，该合成事件图像数据具有一个或多个通道，每个通道基于像素强度改变数据的事件流的隔离部分；以及对DVS立体对的每个传感器的合成事件图像数据的至少一个通道执行立体匹配以生成用于视场的至少一部分的深度图。