[发明专利]使用统一成像设备提取视觉、深度和微振动数据

权利要求书

1.一种使用统一成像设备检测对象、提取对象的深度信息并识别对象的微振动的计算机实现的方法，其特征在于：所述计算机实现的方法包含：

利用至少一处理器以：

接收由所述统一成像设备的一成像传感器捕获的一场景的多个图像，所述统一成像设备包括适于在所述场景上投射由多个漫射光元素构成的一预定结构化光图案的一光源；

通过视觉分析所述多个图像中的至少一个来对所述场景中存在的至少一对象进行分类；

通过分析从所述至少一对象反射的多个漫射光元素中的至少一个的位置，来提取所述至少一对象的深度数据；

通过分析所述多个图像的至少一些连续图像中的多个反射的漫射光元素中的至少一个的一斑点图案的变化，来识别所述至少一对象的至少一微振动，其中通过以下中的至少一个来识别所述斑点图案的变化：

分析所述至少一些连续图像中的至少一反射的漫射光元素的强度相比于一阈值的一时间标准偏差；及

通过对所述斑点图案施加一斑点图案平移以确定所述斑点图案中的至少一点相对于所述斑点图案中的至少一相邻点的一角速度，其中所述角速度指示所述至少一微振动；及

输出所述分类、所述深度数据和至少一微振动的数据，这些数据是由所述成像传感器捕获的图像的分析衍生出的，因此固有地登记在一公共坐标系中。

2.如权利要求1所述的计算机实现的方法，其特征在于：所述光源和所述成像传感器以一共同光波长的光谱进行工作，所述光谱是由可见光、红外光与紫外光组成的一族群的一成员。

3.如权利要求1所述的计算机实现的方法，其特征在于：通过所述成像传感器捕获的多个图像的分析得出的所述分类、所述深度数据和所述至少一微振动是时间同步的。

4.如权利要求1所述的计算机实现的方法，其特征在于：所述多个漫射光元素中的每一个是由以下组成的一族群中的一成员：一点、一斑点、一线及其组合。

5.如权利要求1所述的计算机实现的方法，其特征在于：所述光源还适于周期性地发射一结构化光图案，使得在所述多个图像的一子集中描绘一反射的结构化光图案。

6.如权利要求1所述的计算机实现的方法，其特征在于：所述视觉分析包括使用至少一已训练的机器学习模型来对至少一对象进行分类。

7.如权利要求6所述的计算机实现的方法，其特征在于：训练至少一机器学习模型以基于至少一图像中描绘的视觉数据对所述至少一对象进行分类，所述视觉数据包括所述至少一对象的视觉数据和至少一反射的漫射光元素。

8.如权利要求6所述的计算机实现的方法，其特征在于：训练至少一机器学习模型，以根据至少一图像中描绘的至少一对象的视觉数据与基于提取的深度数据所生成的至少一深度图的结合，来对所述至少一对象进行分类。

9.如权利要求1所述的计算机实现的方法，其特征在于：还包括通过计算从至少一对象的一表面反射的所述多个反射的漫射光元素的所述时间标准偏差来对所述时间标准偏差求平均。

10.如权利要求1所述的计算机实现的方法，其特征在于：还包括通过在所述多个图像的多个连续图像中的至少一点上施加一时间滑动窗口来对所述至少一点的强度求平均。

11.如权利要求1所述的计算机实现的方法，其特征在于：还包括通过对至少一点的强度施加一无限响应滤波器，并将所述无限响应滤波器的结果除以基于所述多个图像的多个连续图像中测得的强度而计算出的平均强度，来对所述至少一点的强度求平均。

12.如权利要求1所述的计算机实现的方法，其特征在于：还包括通过计算所述斑点图案中的多个相邻点的强度来对至少一点的强度求平均。

13.如权利要求1所述的计算机实现的方法，其特征在于：所述场景是一车厢。