[发明专利]从动态视觉传感器立体对和脉冲散斑图案投射器进行半密集深度估计

权利要求书

1.一种用于半密集深度估计的方法，所述方法包括：

在电子设备接收散斑图案投射器SPP的控制信号，所述控制信号指示作为时间的函数的、由所述SPP投射在视场上的预先确定的光图案的开/关状态；

从动态视觉传感器DVS立体对的每个传感器接收像素强度改变数据的事件流，其中，所述事件流与所述SPP的控制信号时间同步并且包括与来自所述视场中的场景的光相关联的第一部分和与由所述SPP投射的预先确定的光图案相关联的第二部分；

对所述DVS立体对的每个传感器的像素强度改变数据的事件流执行投射光过滤，该投射光过滤将从SPP的控制信号确定的第二部分与第一部分分离，

生成合成事件图像数据，所述合成事件图像数据具有多个通道，所述多个通道基于所述像素强度改变数据的事件流的具有不同的指配标签的不同部分；以及

对所述DVS立体对的每个传感器的合成事件图像数据的至少一个通道执行立体匹配以生成用于所述视场的至少一部分的深度图。

2.根据权利要求1所述的方法，进一步包括：

接收与所述DVS立体对的运动相关联的惯性运动单元IMU数据，其中，所述IMU数据与所述像素强度改变数据的事件流时间同步；以及

基于所述IMU数据来执行运动稳定。

3.根据权利要求1所述的方法，进一步包括：

接收SPP的第二控制信号，所述第二控制信号指示作为时间的函数的、由所述SPP投射在视场上的第二预先确定的光图案的开/关状态；以及

对所述DVS立体对的每个传感器的像素强度改变数据的事件流执行投射光过滤，以生成合成事件图像数据，所述合成事件图像数据还包括基于与所述第二预先确定的光图案相关联的像素强度改变数据的事件流的第三部分的通道，

其中，所述第二控制信号与所述DVS立体对的每个传感器的事件流时间同步。

4.根据权利要求1所述的方法，其中，当所述电子设备操作在低功率模式中时，对所述DVS立体对的每个传感器的合成事件图像数据的单个通道执行立体匹配以生成用于所述视场的至少一部分的深度图。

5.根据权利要求1所述的方法，其中，所述深度图被增强现实AR或虚拟现实VR应用中的至少一个利用。

6.根据权利要求1所述的方法，其中，所述合成事件图像数据包括，对于所述DVS立体对的每个传感器和每个通道的，累积像素强度改变数据的直方图。

7.根据权利要求6所述的方法，进一步包括：

对于累积像素强度改变数据的每个直方图，生成所述累积像素强度改变数据的直方图的二进制表示；以及

基于所计算的同一通道中来自所述DVS立体对的不同的传感器的直方图的二进制表示之间的汉明距离来执行立体匹配。

8.一种装置，包括：

散斑图案投射器SPP；

动态视觉传感器DVS立体对；

处理器；和

存储器，包括指令，当处理器执行该指令时使所述装置：

接收所述SPP的控制信号，所述控制信号指示作为时间的函数的、由所述SPP投射在视场上的预先确定的光图案的开/关状态，

从所述动态视觉传感器DVS立体对中的每个传感器接收像素强度改变数据的事件流，其中，所述事件流与所述SPP的控制信号时间同步并且包括与来自所述视场中的场景的光相关联的第一部分和与由所述SPP投射的预先确定的光图案相关联的第二部分，

对所述DVS立体对的每个传感器的像素强度改变数据的事件流执行投射光过滤，，该投射光过滤将从SPP的控制信号确定的第二部分与第一部分分离，

生成合成事件图像数据，所述合成事件图像数据具有多个通道，所述多个通道基于所述像素强度改变数据的事件流的具有不同的指配标签的不同部分，以及

对所述DVS立体对的每个传感器的合成事件图像数据的至少一个通道执行立体匹配以生成用于所述视场的至少一部分的深度图。